[Vision] Semantic Segmentation VS. Instance Segmentation

💡 본 문서는 '[Vision] Semantic Segmentation VS. Instance Segmentation'에 대해 정리해놓은 글입니다.
컴퓨터 비전에는 크게 4가지의 과제(1. Classification 2. Object Detection 3. Image Segmentation 4. Visual relationship)가 있다. 이 글에서는 이 중 3. Image Segmentation에 관해 정리하였으니 참고하시기 바랍니다.

1. Classification / Object Detection / Image segmentation

Classification / Object Detection

먼저 Image Segmentation 이전의 과제들인 Classification과 Object Detection에 대해 간단히 설명하자면 Classification은 Image가 주어졌을때 이 이미지가 어떤 사진인지, 어떤 Object를 대표하는지 분류하는 문제이다. 따라서 위 그림에서 고양이의 위치가 아래 예시와 같이 변하여도 Classification에서는 똑같이 고양이라고 분류해야한다.

1) Classification: translation invariance

이를 "translation invariance" 라고 하며 Classification은 translation invariance를 만족해야한다.

CNN에서 translation invariance란 input의 위치가 달라져도 output이 동일한 값을 갖는것을 말한다. 물론 CNN 네트워크 자체는 translation equivariance(variance)하다. convolution filter로 연산을 할때 특정 feature의 위치가 바뀌면 당연히 output에서 해당 feature에 대한 연산결과의 위치도 바뀌기 때문이다. 

이렇듯 CNN은 translation equivariance한데 어떻게 CNN으로 이루어진 Classification이 translation invariance 할까? 이는 다음의 3가지 과정을 통해 translation invariance하게 된다고 볼 수 있다.

• 1. Max pooling
• 2. CNN의 특징인 Weight sharing & Learn local features
• 3. Softmax를 통한 확률값 계산

관련된 자세한 내용은 다음의 블로그 'translation invariance 설명 및 정리'를 참고하기 바란다.

2) Localization: translation variance

Object detection은 object의 분류뿐만 아니라 해당 object가 어느 위치에 있는지 bounding box를 통해 찾아야한다.

즉, localization을 수행해야하며 classification과 다르게 위치를 찾아야 하므로 더이상 "translation invariance"이면 안된다. 따라서 Object detection은 "translation variance"를 만족해야한다.

그렇다면 Image segmentation은 무엇일까? Image segmentation은 이미지의 영역을 분할해서 각 object에 맞게 합쳐주는것을 말한다.

Semantic Segmentation / Instance Segmentation

Image segmentation의 대표적인 예로는 Semantic segmentation과 Instance segmentation이 있다. 위 그림에서 보다시피 Semantic segmentation이란 Object segmentation을 하되 같은 class인 object들은 같은 영역 혹은 색으로 분할하는 것이다.

반대로 Instance segmentation은 같은 class이여도 서로 다른 instance로 구분해주는 것이다.

따라서 object가 겹쳤을때 각각의 object를 구분해주지 못하는 Semantic segmentation에서의 문제를 Instance segmentation을 통해 해결할 수 있다.

2. Semantic segmentation vs Instance segmentation

Object detection에서와 마찬가지로 Image segmentation에서 역시 object의 localization을 수행해야하기에 Image segmentation은 translation variance을 만족해야한다.

1) Semantic segmentation

Semantic segmentation은 각 픽셀별로 어떤 class에 속하는지 label을 구해줘야 한다.

따라서 One-Hot encoding으로 각 class에 대해 class개수만큼 출력채널을 만든다. 그 후 argmax를 통해 위 이미지처럼 하나의 output을 계산한다.

각 Class별로 출력채널을 만든 후 argmax

이렇게 semantic segmentation은 pixel들이 각 class에 대해 binary하게 포함되는지 안되는지 여부만 따진다.

즉, 강아지 ouput channel에서는 각 pixel들에 대해 강아지에 포함되는 pixel인지 아닌지, 사람 output channel에서는 각 pixel들이 사람에 포함되는 pixel인지 아닌지, .. 0과 1로 binary하게 값을 갖는다.

따라서 위와 같이 segmentation되는데 이때 같은 class의 object들에 대해 서로 구분지을 수 없다는 단점이 있다. 우측하단의 차들을 보면 몇대의 차가 어떻게 겹쳐져있는지 알 수 없고, 단지 저 pixel들이 차에 포함된다는 것만 알 수 있다.

2) Instance Segmentation

반대로 Instance segmentation은 각 픽셀별로 어떤 카테고리에 속하는지 계산하는 것이 아닌 각 픽셀별로 object가 있는지 없는지 여부만 계산한다. 따라서 하늘이나 도로 등  정해진 형태가 없는 물체의 경우는 클래스 라벨을 부여하지 않는다.

일반적으로 Mask R-CNN과 같은 2-stage detector에서는 먼저 object들을 bounding box를 통해 localization시킨다. 그 후 위에서 class별로 output 채널을 만든 것과 같이 localize된 RoI마다 class의 개수만큼 binary mask(instance인지 아닌지)를 씌워준다.

semantic segmantation과 다르게 이미지 사이즈 크기로 class 개수만큼 output 채널이 존재하지 않고 RoI 별로 class 개수만큼 output 채널이 존재하고 동일 class더라도 서로 다른 instance, 즉 RoI가 focus하는 instance부분만 value를 갖도록 한다.

3) Panoptic Segmentation

panoptic segmentation은 위 두 가지의 segmentation을 결합한 형태로 이미지 안의 모든 화소에 대해 클래스 라벨을 예측하고 임의의 ID를 부여한다.

이 태스크에서는 객체간 구별이 되는 클래스(예를 들어 차나 사람)을 Thing 클래스라고 하며, 객체간 구별이 되지 않는 클래스(예를 들어 하늘이나 길)은 Stuff 클래스라고 하는데, Thing 클래스에 대해서는 Instance Segmentation, Stuff 클래스에 대해서는 semantic segmentation을 수행한다.

3. Semantic segmentation 모델 학습 방식

기계학습 모델 학습 방식과 유사하게 Ground Truth(GT) 사용 방식에 따라 구분하며, 입력 이미지에 대한 GT 생성 어려움을 해결하기 위해 연구되고 있는 분야.

• Supervised SS: 많은 (입력 이미지-GT) 쌍을 사용해 모델 학습
• Semi-supervised SS: 적은 쌍과 많은 입력 이미지를 사용해 모델 학습
• Weakly-supervised SS: 많은 을 사용해 모델 학습
• Unsupervised SS: 입력 이미지만 사용해 모델 학습

Weakly-supervised SS

상대적으로 작은 정보로 Semantic Segmentation을 수행하는 것이 목표

• 상대적으로 작은 정보를 Weakly supervision 이라고 부름
• 위치 정보(Bounding Box, Point), 범주 정보를 Weakly supervision으로 사용

입력 이미지에 대한 GT 생성 어려움을 해결하기 위해 연구되고 있으며, 대표적으로 Segment-Anything(SAM) 모델에서의 입력 정보로 사용합니다.

Conclusion

요약하자면, class label이 10개 존재하는 경우 Semantic segmentation에서는 각 pixel들이 어떤 class에 포함되는지 안되는지를 10개의 class에 대해서 각각 binary하게 계산한다.

반면, Instance segmentation은 이미 localization을 수행한 후 그 box가 focus하고 있는 instance의 pixel이 궁금한 것이므로 각 box에 대해 image segmentation을 하는데 이때 동일 class여도 서로 다른 instance이면 value를 갖지 않는다.

따라서 Instance segmentation을 사용할 때의 장점은 Object 별로 구분이 가능하며, localization 수행 후 각 Object 별로 segmenation 하기에 연산 및 효율성 측면에서 이점이 있다.

참고

• [Blog] Semantic segmentation과 Instance segmentation의 차이: https://ganghee-lee.tistory.com/44
• [Blog] segmentation의 종류 (semantic segmentation, instance: https://engineer-mole.tistory.com/273
• [Youtube] Segment Anything: https://www.youtube.com/watch?v=7wITg-SkM3M