[Youtube] Samsung Techtonic 2019: OCR(optical Charactor Recognition) - 딥러닝 실전 활용! 이미지 데이터에서 유용한 정보를 자동 추출해보자 (김민수 Lab장 (AI선행연구Lab))

Track3. 딥러닝 실전 활용! 이미지 데이터에서 유용한 정보를 자동 추출해보자 (김민수 Lab장 (AI선행연구Lab))

1. Magic? No free lunch!

• 우리가 생각하는 딥러닝? 빅 데이터를 학습한 후 신경망이 기억한 후 신경망을 통해 유사한 다른 데이터를 예측하는 것.
• 필기체를 분석하는 과정을 보면 딥러닝 이전에는 feature extraction이라는 특성을 뽑아내는 복잡한 과정을 거쳤어야하는데 딥러닝 활용 후 15줄 정도의 코드면 작성할 수 있고 10초 정도면 97퍼센트 가량의 정확도를 가지도록 구현할 수 있음.
• 성공사례 1. 자동차의 결함파악 2. 설계도면 인식 3. 암 발병위험 예측(MRI, EHR 이미지 분석하여 암발병 위험 및 치료 예후를 예측) 4. 안질환, 부정맥 예측(안저, 심전도 등)
• 하지만 딥러닝이 100% 자동화가 될 수 있을까? human
• 모든 모델에 딱 맞는 단일 처방전은 없음
• 일련의 문제들을 풀 수 잇는 경험 법칙은 있더라도 모든 상황에 항상 잘 동작하는 단 하나의 recipe는 없음.
  • 색깔이 있고 뚜렷하지 않는 데이터 전처리 : sharpening, rotate
  • 흑백의 뚜렷한 데이터 전처리 : Grayscale, Blurring
• 현실의 딥러닝 활용에서는 어느 부분을 어떻게 구분해야하는지.. 노이즈가 너무 많음.,
  • 데이터 : 넘쳐날 경우 처리 고민, 부족할 시 확보의 어려움.
  • 모델 : 다양한 모델 중 어떤 모델이 적절하고 적합할지..
  • 학습 : 지정한 파라미터들이 최선인가? 더 좋은 파라미터는 어떻게 찾지?
  • 개발환경 : 개발환경 및 라이브러리 어떻게 설치하지?
  • 자원관리 : 제한된 자원으로는 많은 실험이 어려움. 효율적으로 자원을 사용할 방법은?
  • 분산수행 : 과정이 복잡하고 수작업이 많은데 설정만으로 쉽게 분산수행이 될까?

2. 정확도 향상을 위한 작업들

• OCR(optical Charactor Recognition) : 문서 이미지에서 내용을 추출(image to text)
• AICR : AI-based OCR - OCR + 자동(이미지 전처리 + 양식/표 추출 + 신뢰도 + .. )
• Taxonomy of image Data Augmentation : 뿌옇게 처리하거나
• Data Augmentation : 뿌옇게 처리하거나 signal를 죽여서 일부로 로스를 만들어서 학습데이터로 활용하여 데이터 증진시키기
• Automatic Augmentation : 효과적인 학습데이터를 자동으로 생성하는 기술
• Augmentation Policy(조합) 적용 : 어떤 policy가 문제를 푸는데 적절한가를 추첨
• early stopping : train과 validation의 추세를 관찰하여 policy의 적합성을 판단하며 설정한 epoch에 도달하기 전 학습 종료 가능
• watermark(복사 방지를 위한 마크) 개선 : 명도기준으로 인식의 영향을 약화.
• 회전보정 : 0~360 회전된 이미지의 특성과 각도를 학습하여 최적 입력 이미지를 정정 + 긴 가로성분 직선 추출 및 각도 측정 후 회전
• 문자 특성반영 : 문자 detection 과정에서 누락되는 정보들을 발견 후 bounding box를 재조정하여 분류 시에 margin보정
• 직인 제거 : 색상 분할(color clustering)을 통한 분할.
• 변형된 심볼 검출 : P&ID 도면 인식 시 pain point(검출대상의 구조분석 후 구조학습)
• 손상 이미지 처리(구겨지거나 접힌 것)
• ICCV(컴퓨터 비젼의 학술 발표) : 펼친 후 인식

3. 결과를 효율적으로 활용하기 위한 작업들

• confidence score : 인공지능이 결과에 대한 애매한 것을 인위적으로 보정하기 위해서
• 모델 성능 검증 자동화 : 모델 개발 및 customization시 검증용 이미지의 ground truth 생성 어려움 -> 문서인식을 통해 base GT(Ground Truth) 생성 -> base GT와 개선모델의 인식 결과 차이를 자동으로 파악하여 두 모델에서 표출된 결과를 모두 검출하고 비교하여 성능 확인을 위한 수작업을 줄임.

결론 : 딥러닝의 발전으로 효율은 좋아졌지만 magic은 아니다.

# 참고

https://www.youtube.com/embed/xTYrxzh2TMQ

[Techtonic 2019] 딥러닝 실전 활용 - 이미지 데이터에서 유용한 정보를 자동 추출해보자 - YouTube