Study: Artificial Intelligence(AI)/AI: 2D Vision(Det, Seg, Trac)
[논문리뷰] DINO: Emerging Properties in Self-Supervised Vision Transformers (ICCV 2021)
💡 💡 본 문서는 'DINO: Emerging Properties in Self-Supervised Vision Transformers (ICCV 2021)' 논문을 정리해놓은 글이다.해당 논문은 DINO라는 self-distillation 구조의 자기지도학습 방법론을 제안하며, 동시에 self-supervised learning과 ViT가 결합되며 발생하는 특성들에 대한 분석과 흥미로운 실험 결과를 논문에서 밝히고 있다. 특히 self-supervised ViT가 segmentation mask에 대한 정보를 갖고 있다는 특성이 굉장히 재미있었고, 기존의 supervised ViT 같은 경우에는 object boundary에 대한 정보를 직접적으로 얻을 수 없고 attention flow와 같은 추..
[Gen AI] Generative Adversarial Network(GAN) 설명: 기초
💡 본 문서는 '[Gen AI] Generative Adversarial Network(GAN) 설명: 기초'에 대해 정리해놓은 글입니다.GAN은 generative adversarial network의 줄임말로, VAE, diffusion model과 같은 generative model의 한 종류로써 데이터를 생성하는 generator와 데이터를 구별하는 discriminator가 경쟁하는 과정을 통해서 데이터를 학습합니다. 이번 글에서는 GAN이 무엇인지와 함께, 어떤 원리로 동작하는지에 대해 수식과 함께 살펴보겠습니다.1. Motivation GAN은 앞서 언급했듯이, 데이터를 생성하는 generator와 데이터를 구별하는 discriminator로 이루어져 있다. Generator는 최대한 실제..
[Gen AI] 생성형 모델들의 원리 비교: VAE, GAN, Flow-based, Diffusion
💡 본 문서는 '[Gen AI] 생성형 모델들의 원리 비교: VAE, GAN, Flow-based, Diffusion'에 대해 정리해놓은 글입니다.생성형 모델들 중 대표적인 모델인 VAE, GAN, Flow-based, Diffusion에 대해 비교하고, 각 방법론이 Latent variable로부터 생성하는 원리를 정리하였으니 참고하시기 바랍니다.1. Prerequisite1) Markov ChainMarkov 성질을 갖는 이산 확률 과정Markov 성질: "특정 상태의 확률(t+1)은 오직 현재(t)의 상태에 의존한다"이산 확률 과정: 이산적인 시간(0초, 1초, ..,) 속에서의 확률적 현상$$ P[s_(t+1) | s_(t)] = P[s_(t+1) | s_1, ..., s_(t)] $$e.g. ..