[2D Vision] 연세 YAI 기초심화CV: YOLO

💡 본 문서는 '[2D Vision] 연세 YAI 기초심화CV: YOLO'에 대해 정리해놓은 글입니다.
One Stage Detector이자 Detection 모델의 근본인 YOLO 모델에 대해 정리하였으니 참고하시기 바랍니다.

Introduction: 기존의 한계

이번 YOLO 강의에서는 기존 객체 탐지 방식의 한계를 극복한 YOLO의 핵심 개념과 구조, 그리고 장단점이 심도 있게 다뤄졌다. 전통적인 방식은 객체 탐지와 분류가 독립적으로 수행되어 연산량이 많고 최적화가 어려웠으며, 이미지의 전체 맥락 정보를 활용하지 못하는 한계가 있었다. YOLO는 이러한 문제를 해결하기 위해 객체의 바운딩 박스와 클래스를 동시에 회귀(Regression) 문제로 정의하는 엔드 투 엔드 원스테이지 모델을 도입했다. 이로 인해 처리 속도가 빨라져 실시간 탐지가 가능해졌고, 이미지 전체를 활용하여 보다 일반화 성능이 뛰어난 결과를 낼 수 있었다.

Method: Network Design

YOLO는 입력 이미지를 학습 과정에서 S×S 그리드로 나누고, 각 그리드 셀마다 여러 개의 바운딩 박스와 그에 해당하는 5개의 값(중심 좌표, 너비, 높이, 신뢰도)을 예측한다. 여기서 신뢰도는 객체 존재 확률과 IoU의 곱으로 정의되며, 클래스 확률은 각 그리드 셀당 하나의 확률 분포로 예측한다. 이 설계는 객체가 없는 영역에 대해 불필요한 연산을 줄이고 false positive를 감소시키는 효과가 있다. 최종적으로 Detection Score를 통해 박스 선택과 클래스 결정을 수행하며, NMS(Non-Maximum Suppression)를 적용해 중복 박스를 제거한다.

Method: Training

모델 학습은 사전 학습된 CNN을 기반으로 추가적인 계층을 쌓아 진행되며, 이미지 크기를 224×224에서 448×448로 확장하여 높은 해상도에서 학습한다. 손실 함수는 좌표 예측, 신뢰도 예측, 클래스 확률 예측을 모두 포함하는 구조로, 로컬라이제이션 오류를 줄이기 위해 좌표 예측에 더 큰 가중치를 부여한다. 너비와 높이는 상대적인 크기 변화에 민감하기 때문에 루트를 취해 오차를 보정했으나, 완벽한 해결에는 한계가 있었다. 또한 객체가 없는 셀에 대해서는 작은 가중치를 적용하여 학습 시 불필요한 영향이 최소화되도록 했다.

Experimental

YOLO는 기존 방식 대비 빠른 속도와 낮은 false positive 비율을 자랑하지만, 하나의 그리드 셀에 여러 객체가 있을 경우 탐지 성능이 떨어지고, 다운샘플링으로 인한 해상도 저하와 로컬라이제이션 성능 저하가 한계로 지적됐다. 그럼에도 불구하고 다양한 도메인, 특히 학습 데이터와 다른 분야의 데이터에서도 우수한 성능을 보여 일반화 능력이 뛰어난 모델로 평가된다. 강의에서는 이러한 구조적 특성과 실험 결과를 바탕으로 YOLO의 성능 분석과 개선 가능성에 대한 토론이 이어졌다.

Discussion

• 네트워크로 뽑히는 7x7의 아웃풋 자체로 보면 7x7로 나눠서 진행한 것이 아닌, 학습해보고 통과시켜 7x7로 뽑으니 7x7로 나눠서 진행한 것과 같다는 것 아닌가? → 마지막이 7x7 tensor 형식으로 나오기 때문에, 전체 image를 7 x 7로 나눠서 분석한 것과 같은 역할을 한다.
• Loss function을 구성할때 왜 굳이 제곱을 해서 loss를 키우는 거지? → 최적화 시 미분의 편리성을 위해 제곱을 취함.
• 오브젝트가 존재하지 않는 GT는 뭐지? → C: confidence score를 가지고 판단하기에 GT는 굳이 필요하지 않을 것 같다.
• 다른 모델에 비해 왜 일반화가 잘되는 것인지? → 전역적인 특징을 다 학습해버리면 위치 관계와 같은 맥락 정보를 같이 학습할 수 있어서 일반화가 잘된다.
• width와 height의 정규화를 하게 되면 이미 scale이 작아지는데, 왜 root까지 취한 것일까? → 정규화를 하고 루트를 적용하니 스케일이 반영이 안된다. 루트를 적용하고 정규화를 진행하는 편이 스케일을 반영하여 옳바른 접근법 같다.
• 마지막 output tensor의 channel 개수가 왜 30인가? → grid cell 마다의 class 확률분포(Class 20개) + Bounding box 2개마다 5개 지표씩 예측 ⇒ 30개
• YOLO가 다른 모델들에 비해 일반화 성능이 좋은 이유가 무엇인가?
• → random하게 위치를 추천하는 다른 모델들과 달리 YOLO는 이미지의 전체적인 맥락을 보고 위치와 분류를 하기 때문에
• 그렇다면 YOLO를 어떻게 발전시킬 수 있을까?
  • Grid를 더 많이 나누어서 작은 객체들이나 모여있는 객체들을 더 잘 탐지할 수 있지 않을까