[Gen AI] Generative Adversarial Network(GAN) 설명: 기초

💡 본 문서는 '[Gen AI] Generative Adversarial Network(GAN) 설명: 기초'에 대해 정리해놓은 글입니다.
GAN은 generative adversarial network의 줄임말로, VAE, diffusion model과 같은 generative model의 한 종류로써 데이터를 생성하는 generator와 데이터를 구별하는 discriminator가 경쟁하는 과정을 통해서 데이터를 학습합니다. 이번 글에서는 GAN이 무엇인지와 함께, 어떤 원리로 동작하는지에 대해 수식과 함께 살펴보겠습니다.

1. Motivation

 GAN은 앞서 언급했듯이, 데이터를 생성하는 generator와 데이터를 구별하는 discriminator로 이루어져 있다. Generator는 최대한 실제처럼 보이는 데이터를 생성함으로써 discriminator를 속이려고 시도하고, 이에 반해 discriminator는 실제 데이터와 만들어진 가짜 데이터를 구별하려고 노력한다. 이를 그림으로 표현하면 아래와 같다.

GAN의 구조

 이렇게 서로 경쟁하면서 학습을 함으로써, generator는 점점 더 실제와 같은 데이터를 생성하게 되고, discriminator는 점점 더 실제와 가짜 데이터를 잘 구별할 수 있게 될 것이다. 결론적으로, generator가 실제 데이터와 굉장히 비슷한 데이터를 생성하는 generative model로서의 역할을 할 수 있게 되는 것이다.

GAN의 기계학습에서의 위치와 의미

GAN은 기계학습의 하위 분야인 생성 모델링에서 중요한 역할을 합니다. 생성 모델링은 주어진 데이터 분포를 학습하여 새로운 데이터를 생성하는 것을 목표로 합니다. GAN은 비지도 학습(Unsupervised Learning) 방법의 일종으로, 레이블이 없는 데이터로부터 학습할 수 있는 강력한 도구를 제공합니다. 이는 특히 대량의 비레이블 데이터가 존재하는 상황에서 유용하며, 이미지 생성, 데이터 증강, 스타일 변환 등 다양한 분야에서 혁신적인 성과를 내고 있습니다.

2. 훈련 셋팅 및 절차

GAN의 학습을 위해서는 훈련 데이터의 구성, 각 네트워크의 손실 함수 정의, 그리고 최종 손실 계산 방법을 명확히 설정해야 합니다. 이 섹션에서는 구체적인 데이터 셋팅 방법과 각 네트워크별 손실 값 계산 방법, 최종 손실 계산 방법에 대해 설명하겠습니다.

구체적인 데이터 셋팅 방법

GAN의 학습에는 진짜 이미지, 가짜 이미지, 그리고 각 이미지에 대한 레이블(참조 레이블)이 필요합니다. 이를 설정하는 방법은 다음과 같습니다.

[진짜 이미지]

진짜 이미지는 실제 데이터를 의미합니다. 이는 인터넷에서 크롤링하거나 기존의 공개된 데이터셋에서 가져올 수 있습니다. 예를 들어, CIFAR-10, MNIST 같은 데이터셋이 진짜 이미지로 사용될 수 있습니다.

[가짜 이미지]

가짜 이미지는 생성자가 생성한 이미지입니다. 생성자는 랜덤한 노이즈 벡터를 입력받아 가짜 이미지를 생성합니다. 이 노이즈 벡터는 일반적으로 정규 분포를 따르는 랜덤 벡터로 설정됩니다.

[참조 레이블 (Reference Label)]

• 진짜 이미지의 레이블: 모든 진짜 이미지는 레이블 1(진짜)로 설정됩니다.
• 가짜 이미지의 레이블: 모든 가짜 이미지는 레이블 0(가짜)로 설정됩니다.

이 레이블은 판별자가 잘 훈련되도록 하는 정답으로 작동합니다.

판별자 훈련

위에서 정리한 데이터들을 이용해 판별자를 훈련시킬 수 있습니다. 데이터의 비율은 디자인에 따라 달라질 수 있으나 가장 단순하게는 실제 이미지와 생성자에 의해 생성된 이미지를 5:5 로 섞어 훈련시킵니다. 판별자는 실제 이미지에 대해서는 1에 가까운 값을, 생성자가 생성한 이미지에 대해서는 0에 가까운 값을 나타내도록 학습됩니다.

Discriminator Training Batch Dataset Construction

생성자 훈련

생성자의 경우에는 직접적으로 좋은 이미지인지 아닌지를 가르쳐줄 수 없으므로 자신이 생성한 이미지가 판별자를 속일 수 있도록 하는 학습 방향을 취하게 됩니다. 즉 생성자 입장에서는 생성된 이미지에 해당하는 최종 Label 값이 모두 1로 되어 계산되는 형태로 진행되면 됩니다.

Generator Training Batch Dataset Construction

각 네트워크별 손실 값 계산 방법

GAN의 학습 과정에서는 생성자와 판별자 각각의 손실 함수를 정의하고, 이를 기반으로 학습을 진행합니다. 이를 이해하기 위해 몇 가지 주요 개념과 용어를 설명하겠습니다.

1) 주요 개념 및 용어

• x : 실제 데이터 포인트입니다. 예를 들어, 실제 이미지입니다. 실제 이미지가 존재할 법한 데이터 분포 p_data 로부터 샘플링된 데이터라 가정합니다.
• z : 잠재 공간(latent space)에서 샘플링된 랜덤 노이즈 벡터입니다. 일반적으로 정규 분포 p_z ~ N(0,1) 로 부터 샘플링 데이터입니다.
• G(z): 생성자 G가 랜덤 노이즈 z를 입력받아 생성한 가짜 데이터(이미지)입니다.
• D(x): 판별자 D가 입력 데이터 x에 대해 출력하는 값으로, 이 값은 해당 데이터가 진짜일 확률을 나타냅니다.

2) 판별자의 손실 함수

판별자의 손실 함수는 실제 이미지와 가짜 이미지를 구분하는 성능을 평가합니다. 즉 real 이미지가 입력일 때의 손실함수와 fake 이미지가 입력일 때의 손실함수를 각각 고민해 볼 수 있고, 전체적으로는 그 두 개의 경우를 모두 합한 값이 최종 판별자 손실함수가 됩니다. 각각 상세하게 살펴보죠.

[진짜 이미지가 입력인 경우]

Loss for Discriminator when the input comes from   real images

1. 진짜 이미지를 진짜로 판단한 경우:

• D(x) = 0.9 (실제 이미지 x에 대해 판별자가 0.9의 값을 출력)
• 손실 값: -log(0.9)≈ 0.105

2. 진짜 이미지를 가짜로 판단한 경우: <높은 Loss 여야 함>

• D(x) = 0.1
• 손실 값: -log(0.1) = 1.0

[가짜 이미지가 입력인 경우]

1. 가짜 이미지를 가짜로 판단한 경우:

• D(G(z)) = 0.2
• 손실 값: -log(1–0.2) = -log(0.8) ≈ 0.223

2. 가짜 이미지를 진짜로 판단한 경우: <높은 Loss 여야 함>

• D(G(z)) = 0.8
• 손실 값: -log(1–0.8) = -log(0.2) = 1.609

판별자의 최종 손실은 진짜 이미지와 가짜 이미지에 대한 손실 값을 모두 합하여 계산됩니다.

즉, 다음의 수식으로 정리해 볼 수 있습니다.

• 첫 번째 항: 실제 데이터 x에 대해 판별자가 1에 가까운 값을 출력하도록 합니다.
• 두 번째 항: 생성된 가짜 데이터 G(z)에 대해 판별자가 0에 가까운 값을 출력하도록 합니다.

이 손실 함수는 판별자가 실제 이미지를 1로, 가짜 이미지를 0으로 구별하는 능력을 최대화하는 방향으로 학습됩니다.

3) 생성자의 손실 함수

하지만 위 objective function을 활용해서 GAN을 학습하면 실제로는 학습이 잘 되지 않는 경우가 있다. 그 이유는, generator의 성능이 안 좋을 때, 해당 objective function을 따르면 gradient가 굉장히 작아서 학습이 빠르게 될 수 없기 때문이다. 다음 그래프를 보자.

두 log function들의 그래프

위 그래프를 보면, log(1−D)는 D(G(z))가 0에 가까울 때, gradient가 0에 가깝기 때문에 학습이 잘 되지 않을 수 있다. 그렇기 때문에 우리는, 위의 Fake 이미지를 생성하는 generator objective function 대신에 다음 objective function을 학습에 활용한다.

생성자가 생성한 가짜 데이터 G(z)에 대해 판별자가 1에 가까운 값을 출력하도록 합니다. 이는 생성자가 판별자를 속이는 데 성공할 때 손실이 줄어듭니다. 또한 이 objective function은 기존의 generator의 objective function과 같은 의미를 가지고 있으면서도, 위 그래프에서 볼 수 있듯이 generator가 잘 학습이 되지 않았을 때의 gradient가 크기 때문에 학습이 비교적 잘 된다. 

예를 들어 살펴보죠.

1. 가짜 이미지를 진짜로 판단한 경우:

• D(G(z)) = 0.8
• 손실 값: -log(0.8) ≈ 0.223

2. 가짜 이미지를 가짜로 판단한 경우:

• D(G(z)) = 0.1
• 손실 값: -log(0.1) = 2.303

생성자의 최종 손실은 판별자를 속이는 방향으로 최적화됩니다.

4) 최종 손실 계산

GAN의 학습은 다음과 같은 과정을 반복하면서 이루어집니다.

1. 판별자 학습:

• 진짜 이미지를 입력으로 받아 손실을 계산하고, 가짜 이미지를 입력으로 받아 손실을 계산합니다.
• 두 손실 값을 합산하여 판별자를 업데이트합니다.

2. 생성자 학습:

• 랜덤 노이즈를 입력으로 받아 가짜 이미지를 생성합니다.
• 생성된 가짜 이미지를 판별자에 입력하여 손실을 계산하고, 생성자를 업데이트합니다.

이러한 과정을 반복하면서 생성자와 판별자는 서로의 성능을 향상시키며, 최종적으로 생성자는 판별자를 속일 수 있는 높은 품질의 이미지를 생성하게 됩니다.

3. 최종 훈련 후의 활용

GAN의 학습이 끝나면 생성자와 판별자 중 어느 것을 사용할 것인지 결정해야 합니다. 일반적으로 최종적으로 활용되는 것은 생성자입니다. 생성자는 실제와 유사한 데이터를 생성할 수 있기 때문에, 다양한 응용 분야에서 활용됩니다.

생성자의 활용

• 이미지 생성: 새로운 이미지를 생성하는 데 사용됩니다. 예를 들어, 새로운 인물의 얼굴을 생성하거나, 특정 스타일의 이미지를 만들어낼 수 있습니다.
• 데이터 증강: 제한된 데이터셋을 보완하기 위해 가짜 데이터를 생성하여 학습에 활용할 수 있습니다.
• 스타일 변환: 한 이미지의 스타일을 다른 이미지로 변환하는 데에도 사용됩니다.

판별자의 활용

판별자는 주로 생성자의 성능을 평가하는 데 사용됩니다. 생성된 데이터가 얼마나 실제와 유사한지를 평가하는 지표로 활용될 수 있습니다.

4. GAN의 장단점

GAN은 매우 강력한 생성 모델이지만, 몇 가지 단점도 가지고 있습니다.

장점

• 고품질의 이미지 생성: GAN은 매우 정교하고 현실적인 이미지를 생성할 수 있습니다.
• 다양한 응용 가능성: 이미지 생성, 데이터 증강, 스타일 변환 등 다양한 분야에 활용할 수 있습니다.

단점

• 학습 불안정성: GAN의 학습은 매우 불안정할 수 있으며, 적절한 하이퍼파라미터 설정이 필요합니다.
• 모드 붕괴: 생성자가 특정 유형의 이미지만 생성하고 다양한 이미지를 생성하지 못하는 문제가 발생할 수 있습니다.
• 손실값 모니터링의 어려움: GAN의 손실 함수를 모니터링하기 어려워 학습 과정을 추적하는 데 어려움이 있습니다.

결론

GAN(Generative Adversarial Network)은 딥러닝 분야에서 매우 중요한 생성 모델로, 다양한 응용 가능성을 가지고 있습니다. 생성자(Generator)와 판별자(Discriminator)의 경쟁을 통해 실제와 유사한 데이터를 생성하는 GAN의 원리를 이해하고, 이를 다양한 분야에 활용할 수 있습니다.

이번 글에서 살펴본 GAN은 최초의 구조를 그대로 설명한 것이고, 이후에 대단히 많은 변형 GAN 등이 나타났습니다. 대표적으로, CGAN(Conditional GAN), Pix2Pix, CycleGAN, StyleGAN, BigGAN 등이 있죠. 다음 글에서는 CGAN과 CycleGAN에 대해 살펴보도록 하겠습니다.

 

한계

 GAN은 대표적인 generative model로, image generation 등에서 아주 좋은 성능을 보였다. 하지만 이러한 GAN도 한계점을 가지고 있다. GAN의 대표적인 한계점은 mode-collapse이다. Mode-collapse는 generator와 discriminator 중 하나가 너무 학습이 잘 돼서 다른 하나의 학습이 진행되지 않는 것을 말한다. 예를 들어, generator가 하나의 정말 진짜같은 가짜 데이터를 생성한다면, discriminator는 이를 항상 구별할 수 없을 것이고, discriminator는 더 이상 학습을 진행할 수 없을 것이다. 

Mode-collapse

 이번 글에서는 GAN이 무엇인지에 대해 수식을 통해 살펴보았고, GAN의 한계점이 무엇인지에 대해서도 간단하게 알아보았다.

참고

• [Paper] Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27.
• [Paper] Berthelot, D., Schumm, T., & Metz, L. (2017). Began: Boundary equilibrium generative adversarial networks. arXiv preprint arXiv:1703.10717.
• [Blog] GAN 설명 (Generative Adversarial Network란?, GAN 증명, GAN 한계): https://process-mining.tistory.com/169
• [Blog] GAN에 대한 이해: https://medium.com/@hugmanskj/gan%EC%97%90-%EB%8C%80%ED%95%9C-%EC%9D%B4%ED%95%B4-a073a5425ef2