[Gen AI] Diffusion Model 설명: 기초

💡 본 문서는 '[Gen AI] Diffusion Model 설명: 기초'에 대해 정리해놓은 글입니다.
해당 글에서는 Image Generative Model의 한 종류인 Diffusion Model이 무엇을 할 수 있는지 살펴봅니다. 다음으로 Diffusion Model의 작동 원리를 자세히 살펴볼거고요. 이렇게 동작이 가능하도록 하는 Diffusion Model 공통적으로 사용되는 Architecture와 Loss Function에 대해 알아봅니다.

1. Image Generative Model

Diffusion Model은 이미지 생성 모델 (Image Generative Model)의 일종입니다. 일반적으로 가장 많이 알려진 이미지 생성 모델로는 GAN이 있습니다. GAN은 이미지를 생성하는 Generator와 이를 구분하는 Discriminator가 상호 적대적으로 학습하는 방법을 사용합니다. Diffusion Model은 원리는 다르지만 GAN과 마찬가지로 이미지를 생성할 수 있는 모델인데요. GAN과 Diffusion Model이 생성한 이미지를 비교해보겠습니다.

그림1. GAN과 Diffusion Model

위 그림은 GAN의 대표 모델인 bigGAN과 Classifier Guidance 방식의 Diffusion Model이 생성한 클래스 별 이미지를 비교한 사진입니다. 가장 오른쪽은 클래스별 학습 데이터이고요. 왼쪽은 bigGAN이 생성한 이미지를, 가운데는 Diffusion Model이 생성한 이미지를 보여주고 있습니다. 어떤가요? GAN과 비교했을때 생성한 이미지의 퀄리티가 전혀 떨어지지 않죠?

하지만 Diffusion Model의 진짜 능력은 단순히 이미지를 생성 하는데에 있지 않습니다. 아래 그림을 한번 볼게요.

그림2. DALLE2가 생성한 이미지

타임 스퀘어에서 스케이트 보드를 타고 있는 테디 베어 사진인데요. DALLE2 라는 Diffusion Model이 생성한 이미지입니다. 만들고자 하는 이미지를 설명하는 Text를 입력 받아 이에 해당하는 이미지를 생성해주는 모습인데요. 놀라운건 저렇게 타임 스퀘어에서 스케이트 보드를 타는 테디 베어 사진은 DALLE2가 학습한 데이터셋에는 없다는 점입니다. DALLE2는 학습 데이터에 없는 형태의 이미지들도 입력으로 주어진 Text가 묘사하는 대로 이미지를 생성할 수 있죠.

한 스텝 더 나아가 볼까요? 이번에는 이미지를 설명하는 Text 뿐만 아니라 위치 정보까지 입력으로 넣어서 이미지를 생성해보겠습니다.

그림3. GLIGEN이 생성한 이미지

위 그림은 GLIGEN이라는 Diffusion Model이 생성한 이미지 샘플인데요. 그림 아래에 생성하고자 하는 이미지를 설명하는 Text인 Caption이 있습니다. 행성과 태양의 우주 모습을 그리고 싶은데요. 왼쪽의 Ground는 이때의 행성과 태양의 위치를 제한해주고 있습니다. 즉 왼쪽 아래에는 행성이, 오른쪽 위에는 태양이 위치하도록 우주 모습을 그려달라는 것이죠. 오른쪽 네개 이미지는 이러한 조건을 입력 받아 GLIGEN이 생성한 이미지들입니다. 주어진 조건을 잘 만족하면서도 다양한 형태로 잘 만들어진 모습이죠?

이렇게 기존 Image Generative Model과는 달리 다양한 요구조건에 맞는 고화질 이미지를 생성할 수 있는 모습을 보여주면서 최근 Diffusion Model이 큰 화제가 되고 있습니다.

2. Diffusion Model 이란?

이번 챕터에서는 Diffusion Model의 기초를 다져봅니다. Diffusion Model이 무엇인지, 어떻게 동작하는지를 자세히 살펴보겠습니다.

2-2. Diffusion Model 작동 원리

이러한 엄청난 능력의 Diffusion Model은 어떻게 동작 하는걸까요?

2-2-1. Diffusion Process

Diffusion Model에 대해 알려면 먼저 Diffusion 이 무엇인지 알아야겠죠. Diffusion은 ‘확산’ 현상을 의미하는데요.

그림4. Forward Diffusion Process

위 그림은 공간상에 모여 있던(특정한 패턴을 보이는) 분자들이 확산 현상을 통해 전 공간에 고르게 분포하게 되는 현상을 표현하고 있습니다. 이때 분자 하나 하나는 어떻게 움직였을까요? 위 그림의 분자들중 하나의 분자에만 초점을 맞춰 아주 짧은 시간 단위로 스냅샷을 찍어 관찰했다고 상상해보죠. 그리고 그 분자는 아래와 같이 움직였다고 가정해보겠습니다.

그림5. 분자 하나의 움직임

이러한 분자의 움직임은 Gaussian Distribution을 따르는데요. 즉 위의 그림과 같이 평균 𝜇과 표준 편차 𝜎를 따르는 정규 분포로 움직임을 표현할 수 있죠. 그렇다면 말이죠, 매시간 t마다 각 분자의 움직임을 계산해낼 수 있다면 어떻게 될까요? 그럼 Diffusion Process를 거꾸로 되돌릴 수 있겠죠? 아래 그림처럼요.

그림6. Reverse Diffusion Process

매시간 t 마다의 움직임을 역연산하게 되면, 다시 공간상에 모여 있던(특정한 패턴을 보이는) 분자들로 되돌리는 것을 기초로 합니다.

2-2-2. Image에 Diffusion Process 적용하기

자, 지금까지의 과정을 그대로 Image의 Pixel 값에 적용해보겠습니다. 분자의 움직임을 정규 분포를 따르는 Noise로 보았잖아요. 마찬가지로 Image의 Pixel 값에 정규 분포를 따르는 Gaussian Noise를 점진적으로 추가한다고 생각해보겠습니다.

그림7. 이미지 픽셀에 Diffusion 적용하기

그렇다면 Diffusion Process는 이런 형태로 표현되겠네요.

그림8. Image에 적용한 Diffusion

왼쪽에 있는 그림은 원본 이미지입니다. x₀라고 표현하고 있죠. 이 이미지의 모든 픽셀값에 Noise를 추가해줍니다. 이렇게 만들어진 이미지가 x₁입니다. 분자의 Diffusion Process와 동일한 방법을 하고 있죠? 이제 이 과정을 매우 많이 반복해야겠죠. 분자들이 아주 많은 시간 t를 거쳐 최종적으로 완전 균등한 상태로 분포하게 된 것 처럼 말이죠. 그럼 이 과정은 이렇게 표현될겁니다.

그림9. 이미지의 Forward Diffusion Process

이 과정은 Diffusion Process의 Forward 과정이라고 말할 수 있습니다. 이미지 x₀로부터 모든 픽셀값에 시간 t마다 Noise를 첨가해주는 Process죠(기본적인 T=1000 가량). 이렇게 아주 긴 시간 T번을 거쳐 만들어진 이미지 x_T는 이제 완전한 Noise 이미지가 되어 있겠죠. 분자들의 Diffusion Process에서는 x₀가 뭉쳐있는 상태, x_T가 완전히 균등하게 분포하고 있는 상태에 해당합니다.

자, 아까 매시간 t에서 첨가된 Noise를 계산할 수 있다면 이 과정을 되돌릴 수 있다고 했었죠? 분자들의 경우에는 모든 공간에 균등하게 분포하는 상태에서 다시 한 공간에 모여있는 상태로 되돌릴 수 있는거죠. 그렇다면 이미지의 경우에는 어떻게 될까요?

그림10. 이미지의 Reverse Diffusion Process

위와 같은 Process가 될 겁니다. 시간 t 마다 이미지 픽셀값에 첨가된 Noise 값을 계산할 수 있다면 Noise 이미지 x_T 로부터 진짜 이미지 x₀로 되돌리는 것이 가능하겠죠. 이 말은 곧 이미지를 생성할 수 있다는 말이잖아요? 입력으로는 랜덤하게 생성해준 Noise 이미지 x_T가 들어가면 Reverse Diffusion Process를 거쳐 완전한 이미지 x₀가 나오게 되니까 말이죠.

2-2-3. Image에 Diffusion Process 적용하기: 논문에 기반한 수식 이해하기

다시 정리하면, Diffusion model은 Genrative model로서 학습된 데이터의 패턴을 생성해내는 역할을 합니다. 이는 패턴 생성 과정을 학습하기 위해 Diffusion Process를 통해 고의적으로 패턴을 무너트리고(Noising), 이를 복원하는 Reverse Process 과정으로 조건부 pdf를 학습합니다(Denoising). 이때 Reverse Process는 Diffusion Process의 역 과정을 학습합니다.

Diffusion Process (Forward)

먼저 Diffusion Process의 Forward 과정인 점진적으로 노이즈를 첨가해주는 프로세스부터 설명하도록 하겠습니다. 이렇게 이전시점(t-1)으로 부터 현재 시점(t)에 노이즈를 추가해주는 과정은 조건부 가우시안 q(Xt | Xt-1)의 Markov chain으로 표현합니다.

물론 주입되는 Gaussian Noise의 크기는 학습하는 것이 아닌, 사전적으로 정의가 되며 이를 βt로 표기합니다(0.001 < βt < 0.02).

그리고 위 수식를 Reparameterization trick을 활용하여 아래와 같이 구현하는데, 이는 VAE에서 사용하는 trick과 유사합니다.

위에서 언급한 βt는 사전적으로 정의가 되며, 사전적 정의(schefuling)은 크게 3가지(Linear, Quad, Sigmoid schedule)를 고려합니다. 아래의 사진은 각 scheduling 기법에 대해 celeb-A 데이터셋의 변화를 나타낸 것으로, βt의 크기를 점점 늘려감에 따라 사진이 white noise로 변화되는 것을 확인할 수 있습니다. 

이러한 Diffusion Process는 단계적으로 gaussian noise를 통해 다수의 latent variable(X₁, X₂, ..., X_T)를 획득하는 과정으로 표현할 수 있습니다. 이렇게 얻은 마지막 latent variable(x_T)는 pure isotropic gaussian 형태를 갖게됩니다. 이는 다수의 latent variable를 상정한다는 점에서 Hierarchical VAE와 유사한 접근방법입니다. 

Reverse Process

Diffusion Process는 사전에 정의한 Noise 크기인 βt에 의해서 모수인 평균과 분산이 정의가 되어 알고 있고 만들어낼 수 있는 Trackable한 분포이지만, Reverse Process는 우리가 알지 못하는 조건부 Gaussian 분포입니다. 주입한 noise인 q(Xt | Xt-1)가 Gaussian이면, βt가 매우 작을 때 q(Xt-1 | Xt) 도 Gaussian이라는 것은 이미 증명되어 있습니다. 따라서 Reverse Process 조건부 Gaussian 분포의 모수인 평균과 분산을 학습을 해야 합니다. 

2-3. Architecture

그럼 Diffusion Model에게 필요한 것은 t시점의 이미지를 입력으로 받아 각 픽셀별로 추가된 Noise를 예측해주는 것이겠군요. 이렇게 계산해낸 Noise를 빼내면 한 시점 전 이미지로, 즉 덜 Noisy한 이미지로 바꿔줄 수 있는거죠. 이 과정을 계속해 나가면 완전한 이미지 x₀를 만들어낼 수 있을겁니다.

따라서 Diffusion Model이 갖춰야 하는 몇 가지 조건을 정리해보면 다음과 같습니다.

• 첫 번째로 Input은 이미지, 또는 Noisy 이미지가 될 겁니다. 꼭 이미지여야만 한다는 뜻이 아니라 Width*Height*Channel 형태의 3차원 또는 2차원 Array 여야 한다는 것이죠.
• 두 번째로 몇 번째 Process 인지를 의미하는 t도 주어져야 합니다. 그래야 Diffusion Model 입장에서는 그에 맞게 Noise를 예측할 수 있으니까요.
• 세 번째로 추가 Condition (조건) 이 있다면 이 조건 또한 Diffusion Model에게 주어져야 합니다. 이때의 조건이란 특정 클래스 정보, 또는 생성한 이미지를 표현할 Text 정보 등등이 해당합니다.
• 네 번째로 Output은 Input과 동일한 형태여야 합니다. 대신 값은 각 픽셀별로 첨가된 Noise 값을 의미해야겠죠. Diffusion Model에 따라 Noise 값 자체를 예측할지, Noise의 𝜇, 𝜎 등을 예측할지는 조금씩 다르지만, Noise를 예측한다고 이해하면 큰 흐름을 이해하기에 무방합니다.

따라서 이를 만족하는 Diffusion Model의 Architecture는 다음과 같습니다.

그림11. Diffusion Model Architecture

위 그림은 Diffusion Model의 Architecture를 표현한 그림인데요. 먼저 Diffusion Model은 UNet 구조를 하고 있습니다. 이는 Input과 동일한 Resolution의 Output을 내기에 적절한 구조죠. 그리고 t와 Condition을 별도로 입력받는 모습을 볼 수 있습니다. 이러한 구조는 거의 대부분의 Diffusion Model에서 공통적으로 적용하고 있습니다.

이때 UNet은 위에서도 설명했듯이 Reverse Diffusion Process에 사용되며, Forward Diffusion 때 적용했던 Noise를 Loss에 넣어주어 이러한 노이즈 제거를 학습하게 됩니다.

2-4. Loss Function

 Reverse Process는 학습의 대상이기 때문에 학습의 방향을 보여줄 수 있는 Loss를 살펴봐야 될 것 같습니다. 그래서 Reverse Process의 로스는 장 패 보이시는 수식과 같이 표현이 될 수가 있습니다 

이러한 Loss는 Negative Log Likelihood와 같고, 결국에 여느 생성 모양과 같이 Dense Estimation 관점에서 데이터에 대한 Fitting 이 최대 가 되도록 Negative Log Likelihood 최대 하도록 하는 것이 목적식이 될 것입니다. 해당 로스를 도출하는 자세한 과정은 본 영상에서 다루지는 않습니다. 대신에 Loss의 자세한 도출 과정을 꼼꼼하게 리뷰한 블로그를 Sitation 하고자 합니다. 

• [논문공부] Denoising Diffusion Probabilistic Models (DDPM) 설명: https://developers-shack.tistory.com/8

본 영상에서는 Loss의 도출 과정을 자세히 증명하기 보다는 VAE 와 구조적으로 비교하면서 개념적인 이해를 해보고자 합니다. VAE는 기본적으로 하나의 Latent Variable 을 추출해 내는 과정을 같습니다. 디퓨저는 이와 달리 Markov Chain을 통해 매우 많은 수의 Latent Variable를 단계적으로 획득해 갑니다. 엄밀히 표현은 안 되겠지만 아주 단순하게 표현을 하자면 모델 구조상 Latent Variable 의 수가 다르다는 것으로 두고 차이를 이해 볼 수도 있을 것 같습니다. 그리고 이러한 차이는 로스를 구성하는 데도 결정적인 차이를 가져오게 됩니다 먼저 va 에로스 를 살펴보겠습니다.

VAE는 보시는 것 같이 Reconstruction Term과 Regularization Term 으로 구분이 될 수가 있습니다.

Diffusion도 마찬가지로 Reconstruction Term과 Regularization Term을 갖게 되며, 앞서 말씀드린 것과 같이 Diffusion은 매우 많은 수의 Latent Variable을 만들어가는 Markov Chain이 Diffusion에 존재를 하게 되는데, 이러한 Latent Variable들을 컨트롤할 수 있는 Loss Term이 녹색 으로 표현된 부분입니다. 그래서 최종적인 XT 에서 X1 시점까지 이어지는 Reverse Process에서 Denoising 프로세스를 학습하도록 가이드 하게 됩니다. 

q와 P라는 Reverse Process를 나타내는 두 조건부 가우시안 분포 간의 KL Divergence로 정의됩니다. 이렇게 두 Gaussian 간의 두 분포의 KL Divergence 는 Tractable 하면서도 잘 학습이 될 수 있을 것입니다. 결국에 P 리버스 프로세스는 q 라는 Diffusion 프로세스를 최대한 Approximation 하도록 학습이 되는 것임을 이 부분에서 확인을 해볼 수가 있을 것입니다.

종합을 해보면 VAE 가 갖는 Reconstruction Term과 Regularization Term과 더불어서 Denoising 학습을 유도하는 Loss Term이 추가가 된 것입니다. 이제부터는 DDPM 이란 연구에서 어떻게 이 내용을 다르게 접근해서 또 어떤 효과를 거둬 오는지를 살펴보겠습니다. 힌트는 제목과 같이 Denoising 이라는 특징에 초점을 두어서 지금까지의 내용을 Denoising이라는 시각에서 해석을 하였다는 점입니다.

• 자세한 Loss 도출 과정 참고 Blog: https://developers-shack.tistory.com/8

3. Denoising Diffusion Probabilistic Model (DDPM, 2020)

결론적으로는 아래와 같이 Simple하게 재구성되는 것을 확인할 수 있으며, 성능 또한 향상되었음을 논문에서 확인할 수 있습니다.

이를 간단하게 살펴보면, 𝜀은 실제 Noise, 즉 Ground Truth에 해당하고요. 𝜀𝜃는 Diffusion Model이 예측한 Noise에 해당합니다. 따라서 모델은 t라는 시점에서의 Noise를 예측하여, 같아지도록 Diffusion Model을 학습하게 됩니다.

수식 (2)와 식 (3)을 조합하면 아래 식 (4)와 같은 새로운 목적식이 정의됩니다. 이는 MSE Loss 같은 구성에 노이즈로 구성이된 계수 Term이 붙어있는 것을 확인할 수 있습니다.

참고

• [Blog] [개념 정리] Diffusion Model: https://xoft.tistory.com/32
• [Paper Review] Denoising Diffusion Probabilistic Models: https://www.youtube.com/watch?v=_JQSMhqXw-4
• [모두팝] 생성모델부터 Diffusion까지 2회: https://www.youtube.com/watch?v=jaPPALsUZo8&t=701s