[Vision] Benefiting from AI and deep learning for video summarization

# Title: “Benefiting from AI and deep learning for video summarization”

# Summary: AI의 새로운 분야를 개척할 Video summarization은 GANs과 같은 Unsupervised learning을 사용하면 효과적이다.

# Contents: 매일 유튜브 영상을 보는 시간이 증가하고 있으며, 구글의 매점을 방문하기 전에 영상을 보고 방문하는 비율이 50%가량. 비디오는 정보 공유의 컨텐츠로 성장하고 있음. 우리는 이미 컨텐츠를 공유하기 위해 copy and text에서 snapshot and visual posts로 옮김. AI를 사용한다면 작성하는 목적에 따른 명확한 컨텐츠를 제공할 수 있으며, target에게 더 잘 전달할 수 있음.

최근 딥러닝을 사용한 image처리는 증가하며 정확도가 급속도 향상. 비디오에도 비슷한 기술 사용가능하나 video는 audio, motion, time을 포함한 다차원으로 더욱 복잡. 주 장면을 바탕으로 요약 가능.

Supervised summarization의 경우, sport같은 pattern이 존재하는 경우 잘 작동하지만 labeled data하는 과정이 도전과제. Unsupervised의 경우(such as generative adversarial networks (GANs) and reinforcement learning), color, motion, texture와 같은 low-level feature를 활용한 histogram과 clusters를 활용하여 비슷한 프레임 검출. 이러한 것을 다룬다면 비디오 요약 서비스의 선주자가 될 수 있다.

Video의 경우 어떤 패턴이 존재하지 않고 서로가 완전히 다르다. 매우 잘 작동하는 GANs는 두가지 신경망으로 구성된다.
1. An encoder that tries to mimic the real data.
2. A decoder that is trying to learn if the generated data is fake or not
이는 원래 Dataset와 구별하기 힘든 데이터를 생성할 수 있다. 주어진 비디오를 잘 나타내는 프레임의 또 다른 집합을 만들며 dataset을 설명할 수 있다. 이렇게 하면 자체의 context and meaning을 보존한 고유한 요약이 생성된다. 이는 작은 버전의 광고를 만들거나 콘텐츠 출시의 예고편을 제공하는데 사용할 수 있다.

Video의 경우 reinforcement learning이 labeled data를 하지 않아 supervised learning보다 더욱 효과적이다. 신경망은 보상을 기반으로 프레임을 선택하여 학습할 수 있으며, 이전의 요약된 것을 바탕으로 현재 프레임을 학습하거나 건너뛸 수 있다. 다른 종류의 보상함수는 프레임의 다양성, 대표성, 카테고리분류와 같은 것을 결정할 수 있다. Video summarization의 경우 딥러닝의 새로운 시대를 막 시작. 많은 조언들은 오디오, 전달 매체, 요약의 취지를 기반으로 한 최상의 요약이 근처의 미래에 만들어지고 최적화 될 것이다.

# 참고: https://www.clickz.com/ai-deep-learning-video-summarizing/236598/

Benefiting from AI and deep learning for video summarization - ClickZ