[컨퍼런스] 2023 Google 인공지능위크 (23.07.13. - 07.15.)

# 참가하게 된 이유

복학하기 전에 열정을 끌어올려 방향성을 잡을 겸, 구글 인공지능 위크에 참가했다.

# 주제

[Google] Google 인공지능위크 2023 | Day 2 Agenda

• TensorFlow와 JAX 모델 최적화 기법 [12:30 - 13:05]
  • ML 모델의 추론 비용을 줄여주는 가중치 프루닝 (Weight Pruning), 양자화 (Quantization) 등의 모델 최적화 기법들을 TensorFlow와 JAX 모델들에 적용하는 방법을 소개합니다.
  • Speaker :윤영석, Software Engineer, Core ML, Model Optimization / Google
• The AI/ML Developer Journey [13:15 - 13:50]
  • 인공지능/머신러닝과 관련하여 개발자들이 기본적으로 알고 있어야 할 사항과 개발자들이 이를 공부하기 위해 곧바로 활용하고 참고할 수 있는 다양한 리소스들을 안내합니다.
  • Speaker :권순선, Developer Relations Program Manager, ML / Google
• MediaPipe를 활용한 쉬운 온디바이스 머신러닝 [14:00 - 14:35]
  • 모바일, 웹, IoT 애플리케이션에서 활용할 수 있는 온디바이스 머신러닝 솔루션, MediaPipe를 소개합니다. 손 제스처 인식 기능을 예시로 MediaPipe API를 사용하는 방법, MediaPipe Studio에 있는 여러 활용가능한 모델을 소개, 그리고 모델 커스터마이징을 위한 MediaPipe Model Maker 사용법을 알려드립니다.
  • Speaker:곽도영, Software Engineer, Core ML, Model Optimization / Google
• 생성 AI 와 디지털 휴먼 기술 [14:45 - 15:20]
  • 생성형 AI가 콘텐츠 생성 업무에 어떻게 활용되는지와 차세대 가상 인간으로서의 인터렉티브 디지털 휴먼 기술을 소개합니다.
  • Speaker:이연수, NLP센터장, 상무 / NCSOFT
• Applied ML with KerasCV and KerasNLP [15:40 - 16:15]
  • TensorFlow 생태계에서 텍스트 및 이미지 분류, 개체 감지, 생성형 AI 등을 위한 최첨단 재훈련 모델을 배포하는 가장 쉬운 방법인 KerasCV 및 KerasNLP를 다양한 예제와 코드 스니펫과 함께 살펴봅니다.
  • Speaker : 김연재, Software Engineer, CoreML, TFX / Google
• TFX for Business [16:25 - 17:00]
  • MLOps가 ML 제품 개발에 중요한 이유와 기업들이 TFX를 활용하여 이를 구현할 수 있는 방법들을 알아봅니다.
  • Speaker : 박두진, Staff Software Engineer, CoreML, TFX / Google
• 긱블이 인공지능을 재밌게 전달하는 법 [17:10 - 17:45]
  • 긱블이 어려운 기술을 쉽고 재밌게 전달하는 방법과 긱블의 콘텐츠 사례를 보여주고 소개합니다.
  • Speaker : 김민백, VP & CPO / 긱블

# KeyPoint

TensorFlow와 JAX 모델 최적화 기법

• Model Optimization: Quantization, Pruning, Knowledge Distillation
• Pruning: drop out 같은 기법
  • connection pruning: removing connection during training in order to increase sparsity
    • 0에 가까운 값들을 0으로 만들어 연결을 끊어버림 → sparsity matrix 구성
  • tensorflow model optimization: https://blog.tensorflow.org/2019/05/tf-model-optimization-toolkit-pruning-API.html?hl=ko&_gl=1*vxjyod*_ga*NDg2MzY4ODQ4LjE2ODkzMDYxMTM.*_ga_W0YLR4190T*MTY4OTMwNjExMy4xLjEuMTY4OTMwNjExMy4wLjAuMA..
  • training 전반부에는 sparse하지 않게 훈련시키고 이후에 점점 sparse 줄여나가면서 학습하기
• Quantization
  • 낮은 precision으로 줄여서 표현: float32 → int8
  • Lossy transformation
  • tensorflow post training quantization(PTQ): https://blog.tensorflow.org/2019/06/tensorflow-integer-quantization.html?hl=ko&_gl=1*y0rs4f*_ga*NDg2MzY4ODQ4LjE2ODkzMDYxMTM.*_ga_W0YLR4190T*MTY4OTMwNjExMy4xLjEuMTY4OTMwNjMzNC4wLjAuMA..
    • 이후에 Quantization 진행
  • tensorflow Quantization Aware Training(QAT): https://blog.tensorflow.org/2020/04/quantization-aware-training-with-tensorflow-model-optimization-toolkit.html?hl=ko&_gl=1*y0rs4f*_ga*NDg2MzY4ODQ4LjE2ODkzMDYxMTM.*_ga_W0YLR4190T*MTY4OTMwNjExMy4xLjEuMTY4OTMwNjMzNC4wLjAuMA..
    • 과정에서 quantization 진행
    • PTQ에 비해 정확도가 더 높음
• Google IO 2023 Model Optimization
  • JAX: An open-source framework for high-performance ML research
    • jax2tf.convert로 tf형태로 변환가능하여 가벼운 모델 생성가능
    • https://github.com/google/jax
  • Introduction the New TF Quantization API: available last this year
    • tf lite 변화할때 quantization을 진행할 수 있었으나, 현재 모바일 서버 등 다양한 곳에서 진행 가능
    • QAT 같은 경우, 적용하기 힘든 경우가 있었으나 이번 API의 경우 어떤 모델에서도 적용 가능.
  • Introducing Keras Core: Keras for TensorFlow, JAX, and PyTorch: https://keras.io/keras_core/announcement/
• Ref. https://www.tensorflow.org/model_optimization?hl=ko

The AI/ML Developer Journey

• Data Ingestion & Preprocessing
  • Hosted Data, BYOD
• Model Architecture Definition and Training
  • APIs, Pre-Trained
• Model Deployment
  • Embeded, Micro, Browser, Mobile, Cloud, Wep
• MLOps

생성 AI 와 디지털 휴먼 기술(NCSoft)

생성형 AI가 이미 됐다. NCsoft도 많은 생성형 툴을 사내에서 사용중.

• 깊이있는 상화작용이 가능한 NPC
• 생산성 향상: Stable diffusion을 비룟한 생성 AI가 Artest에게 기여

LLM 개발중

• google cloud TPU v4 사용 중
• 저자들과 직간접적으로 협주
• JAX를 활용 중

Disital Human AI 개발시 중요한 점

• 실재감
• 몰입감
  • 어떤 일에 깊이 파고 들거나 빠지는 상태
  • 자신의 행동에 지속적으로 참여할 수 있는 심리 상태 "공감, 흥미,. 품질" 측면에서 만족할 수 있는 최적의 콘텐츠

Disital Human이 가져야 할 것

• 정체성을 갖고 개성을 표출
• 친밀감을 주고 애착관계
• 관심있는 주제에 대한 깊이있는 지식 및 새로운 지식 습득

NCsoft가 포커싱하고 있는 인공지능: 전문성을 보유하고 있는 사내 유관부서와 같이 협업하여 개발중

• Conversational AI 
• Recognition AI
• Visual Acting AI

Q: 인공지능 할루시네이션 이슈

• 문제가 있기는 하지만 모델에 따라 유연하게 대처하는 중
• 펙트가 중요한 문제 같은 경우에는 펙트에 기반한 모델을 사용중이며,
• 시나리오와 같이 유연한 경우에는 자율성을 조금 더 주고 있는 상황이다.

# 느낀 점

요즘 GPT 이후 모든 기업에서 LLM과 관련된 사업을 진행하는 듯 보인다.

이러한 사업은 두가지 성향을 띈다. LLM을 사용하여 서비스를 제공하는 기업과 구글과 같이 LLM을 개발하는 기업이 있다. 이전에는 전자의 경우 구글의 모델 및 서비스를 이용하는 것이기에 도움이 된다고 생각하였으나, 후자의 경우 구글과 경쟁사가 될 것이라고 생각했다. 더 나아가 LLM을 개발하는 부분에 있어서는 일부 대기업 외에는 다 망할 것이라고 생각했다.

그런데 이번에 NCSoft의 생성형 AI 활용에 대한 강의를 들으며, 타 기업이 LLM을 개발하더라도 google cloud를 이용한다면 google에게는 이득이 된다는 것과 자사 내부적으로 LLM을 도입하여 생산성을 향상시키는데 사용할 수도 있겠다라는 인사이트를 얻었다. 더 나아가 LLM이 각광받을수록 네트워크, 클라우드 등 부가적인 산업도 같이 성장하겠다는 것을 느꼈다.

# 참고

• [Google] Google I/O 2023: https://io.google/2023/intl/ko/
• [Google] Google 인공지능위크 2023 | Day 2 Agenda: https://rsvp.withgoogle.com/events/aiweek2023/agendaview_944225_543736
• Duet AI: https://korea.googleblog.com/2023/05/duet-ai.html