[논문리뷰] colorBased Hands Tracking System for sign language recognition ( IEEE 1998 )

https://ieeexplore.ieee.org/document/670991

Color-based hands tracking system for sign language recognition - IEEE Conference Publication

# Keypoint

• Hand tracking system을 kalman Filter을 활용하여 구현
• 피부색으로 color extraction! skin은 안좋음,, deep-learning있는 상태에선 형태인식!!
• 조건(너무 많음,,)
  • 1. 배경이 손에 비해 매우 정적
  • 2. 사용자는 무조건 긴팔 옷
  • 3. 얼굴은 손에 비해 매우 정적
• step1. skin HSV map 생성 : 피부색을 이진화 하기 위해 map 생성
• step2. HSV map으로 영상을 이진화 하여 흑백영상으로 만든 후 원본과 병합하여 손과 얼굴 영역만 남도록 조정하여 ROI map 도출
• histogram backpropagation을 통하여 확실하게 손과 얼굴영역을 검출
• original image와 skin segmentation된 ROI map을 2D-histogram,,,?
• kalman filter를 사용하여 손의 위치 추적.
• data 종류
  • 1. Lab sequence –lab에 직접 native signers들을 초빙해서 찍은 data
  • 2. Published sequence – VHS library를 활용한 30 seconds 짜리의 동영상