2024/11/21

[논문리뷰] DINO: Emerging Properties in Self-Supervised Vision Transformers (ICCV 2021)

💡 💡 본 문서는 'DINO: Emerging Properties in Self-Supervised Vision Transformers (ICCV 2021)' 논문을 정리해놓은 글이다.해당 논문은 DINO라는 self-distillation 구조의 자기지도학습 방법론을 제안하며, 동시에 self-supervised learning과 ViT가 결합되며 발생하는 특성들에 대한 분석과 흥미로운 실험 결과를 논문에서 밝히고 있다. 특히 self-supervised ViT가 segmentation mask에 대한 정보를 갖고 있다는 특성이 굉장히 재미있었고, 기존의 supervised ViT 같은 경우에는 object boundary에 대한 정보를 직접적으로 얻을 수 없고 attention flow와 같은 추..