[Gen AI] 생성형 모델들의 원리 비교: VAE, GAN, Flow-based, Diffusion

💡 본 문서는 '[Gen AI] 생성형 모델들의 원리 비교: VAE, GAN, Flow-based, Diffusion'에 대해 정리해놓은 글입니다.
생성형 모델들 중 대표적인 모델인 VAE, GAN, Flow-based, Diffusion에 대해 비교하고, 각 방법론이 Latent variable로부터 생성하는 원리를 정리하였으니 참고하시기 바랍니다.

1. Prerequisite

1) Markov Chain

Markov 성질을 갖는 이산 확률 과정

• Markov 성질: "특정 상태의 확률(t+1)은 오직 현재(t)의 상태에 의존한다"
• 이산 확률 과정: 이산적인 시간(0초, 1초, ..,) 속에서의 확률적 현상

$$ P[s_(t+1) | s_(t)] = P[s_(t+1) | s_1, ..., s_(t)] $$

e.g. "내일의 날씨는 오늘의 날씨만 보고 알 수 있다."

2) Normalizing Flow

심층신경망 기반 확률적 생성 모형 중 하나. 잠재 변수(Z) 기반 확률적 생성 모형으로서, 잠재 변수(Z) 획득에 '변수 변환' 공식을 활용합니다.

2. Probabilistic Generative Model: Latent variable model

1) Overview of Generative Models

• 반복적인 변화(iterative transformation)를 활용한다는 점에서 Flow-based models와 유사
• 분포에 대한 변분적 추론(Variational Inference)을 통한 학습을 진행한다는 점은 VAE와 유사
• 최근에는 Diffusion 모델의 학습에 Adversarial Training을 활용하기도 함 (Diffusion-GAN, 2022)

2) Generative model: Latent variable model

결국 생성 모델로부터 원하는 것은 매우 간단한 분포(Z)를 특정한 패턴을 갖는 분포로 변환(Mapping, transformation, sampling)하는 것입니다. 그렇기에 대부분의 생성모델이 주어진 입력 데이터로부터 latent variable(Z)을 얻어내고, 이를 변환하는 역량을 학습하고자 합니다.

3) Variational Auto Encoder

• 학습된 Decoder network를 통해 latent variable을 특정한 패턴의 분포로 mapping
• Encoder를 모델 구조에 추가해, Latent variable / Encoder / Decoder를 모두 학습시킵니다.

3) Generative Adversarial Network (GAN) 

• 학습된 Generator를 통해 latent variable을 특정한 패턴의 분포로 mapping
• Discriminator를 모델 구조에 추가해, Generator를 학습시킴

4) Flow-based Model

기본적으로 간단하고 tractable한 prior 분포를 복잡한 분포로 변화시고자 합니다. 이를 위해 학습한 Invertible Function의 Inverse mapping을 이용하며, 이러한 function을 flow라 하여 생성에 활용합니다.

• 학습된 Flow model의 Inverse mapping을 통해 latent variable을 특정한 패턴의 분포로 mapping
• 생성에 활용되는 Inverse mapping을 학습하기 위해 Invertible Function을 학습

5) Diffusion based generative model

Diffusion 모델도 기본적으로 간단하고 tractable한 prior 분포를 복잡한 분포로 변화시고자 합니다. 

• 학습된 Diffusion Model의 조건부 확률 분포 P(x|z)를 통해 특정한 패턴의 분포 획득
• 생성에 활용되는 조건부 확율 분포 P(x|z)를 학습하기 위해 Diffusion process q(z|x)를 활용 

참고

[Youtube] [Paper Review] Denoising Diffusion Probabilistic Models: https://www.youtube.com/watch?v=_JQSMhqXw-4