[세미나] Unsupervised Semantic Segmentation (22.03.18. Open DMQA Seminar)

💡 본 문서는 'Unsupervised Semantic Segmentation (22.03.18. Open DMQA Seminar)' 세미나을 바탕으로 작성한 글이니 참고하시기 바랍니다.

1. Introduction

2. Unsupervised Sementic Segmentation

Unsupervise Learning

• 비지도 학습은 정답이 주어져 있지 않은 상황에서 입력 데이터만으로 모델을 학습시키는 방법론
• 입력 데이터만으로 모델을 학습시키기 위한 다양한 방법론이 연구되고 있음(Clustering, Autoencoder, GAN, Self-supervised, ...)

Unsupervise Learning for semantic segmentation

• Sementic Segmentation에서 비지도 학습은 정답 마스크가 주어지지 않은 상황에서 입력 이미지만으로 모델을 학습
• 단, 학습시 클래스의 개수는 지정되어 주어지며, 테스트 단계에서는 예측 결과와 레이블을 매핑하여 모델을 평가
  • 매핑하는 방법: Hungarian method(Kuhn, 1955) - Linear Assignment
• 비지도 학습 기반의 Semantic Segmentation은 IIC(Ji et al.) 연구 이후 이를 baseline으로 한 연구들이 지속되고 있음
• GAN 기반의 연구도 존재하지만 GAN 기반은 foreground와 background 만을 구분할 수 있는 한계를 지님: Labels4Free
• [Leaderboard] Unsupervised Semantic Segmentation on COCO-Stuff: https://paperswithcode.com/sota/unsupervised-semantic-segmentation-on-coco-1

Unsupervise Learning for semantic segmentation: mutual information

• IIC 이후의 연구들은 대부분 모델 학습의 objective로 mutual information maximization을 사용함
• 따라서 Unsupervised semantic segmentation의 최신 연구를 파악하기 위해서는 mutual information에 대한 이해가 필요함.
• 입력 이미지와 증강된 이미지로 positive pair를 구성하고 이를 모델에 통과시킨 후 이에 대한 mutural information을 최대화 하는 목적식을 통해 모델을 학습

mutual information

• 두 확률변수 사이의 상호의존성을 측정한 것으로, 한 변수를 통해 얻어지는 다른 한 변수에 대한 정보량을 의미
• 두 확률변수의 독립여부를 측정할 수 있어 상관계수와 유사하게 두 변수사이의 관계를 나타내는 척도로 사용

3. Mutual information maximization

Why Mutual information?

4. Method

1) IIC (Invarient Information Clustering)

1.1 

1.1.1 

 

참고

•