[세미나] AI프렌즈: NeRF(Neural Radiance Field) 트랜드와 속도 발전 동향 (LG전자 김도연)

💡 본 문서는 'NeRF(Neural Radiance Field) 트랜드와 속도 발전 동향 (LG전자 김도연)' 강연을 듣고 정리해놓은 글입니다.

1. NeRF & 응용 연구 분야

NeRF

• Radiance Field: 바라보는 각도마다 다른 빛을 내는 Field
• Neural Radiance Field: 바라보는 각도마다 다른 빛을 내는 Field를 Neural Network를 사용하여 생성 모델
• 해결하려는 문제: Novel View Systhesis -> 다양한 카메라 포즈에서 학습되지 않은 Pose에서의 이미지 합성
• https://www.matthewtancik.com/nerf

연구 분야

Base 연구 분야

• Image Quality 향상: 해상도, 카메라 거리
• Time 단축: Train & Randering 속도
• Input 제약 제거: 적은 Image 수, Camera Pose 유무

응용 연구 분야

• 3D Reconstruction
  • NeRF in the Wild(CVPR 2021): 관광지에서 찍은 사진들을 바탕으로 3D Reconstruction
  • PF LRM: Pose Free Large Reconstruction Model(arXiv 2023): Pose가 주어지지 않더라도 세장의 사진만으로 3D Reconstruction
  • SMERF: Streamable Memory Efficiant Radiance Fields(arXiv 2023): 집을 3D Reconstruction하여 움직이며 구경할 수 있도록 구성
• 3D Reconstruction(Large Scene)
  • F2-NeRF (CVPR 2023): 드론으로 도시를 3D Reconstruction
  • MatrixCity (ICCV 2023): 차량의 블랙박스 영상으로 3D Reconstruction
• Relighting
  • ShadowNeus (CVPR 2023)
  • Relightable Gaussian Codec Avatars (arXiv 2023): VR 기기 위에서 얼굴을 모델링 후 Relighting하여 조명 변화
• Scene Editing
  • NeRFShop (I3D 2023): Scene을 3d Reconstruction한 후 사물을 선택하여 이동 & 크기 조정할 수 있도록
  • NeRF-Art (TVCG 2023), Blending-NeRF (ICCV 2023): 비디오를 특정 명화 style로 rendering하는 모델
• Camera Pose Estimation
• Dynamic Scene Randering
• Text to 3D: DreamFusion -> Magic3D -> Fantasia3D -> ProlificDreamer -> DreamCraft3D
• Image to 3D: Zero-1-to-3 -> Shap-E -> One-2-3-45 -> Dream Gaussian -> One-2-3-45++ 

기타 연구

• 가상의 Mirror 배치: Mirror-NeRF(ACM Multimedia 2023)
• 3D Segmentation Anything: Segment Anything in 3D with NeRFs (NeurIPS 2023)
• 동공에 비친 사물 렌더링: Seeing the World through Your Eyes (arXiv 2023)

참고

• [논문 정리] NeRF 개선 방향 및 기술 동향: https://xoft.tistory.com/5

2. NeRF 기술 

Algorithm Key Words?

Positional Encoding / Neural Network / Volume Randering

problem? 퀄리티 / 속도/ 입력 조건

연산 속도의 발전

1) SH-based NeRF

2) Grid-based NeRF

• Trilinear interpolation(색상 결정): Scene을 고정된 Voxel 수의 Grid로 구성하고, 주변 Voxel의 값들로 보간
• Total Variance(TV) Loss: 인접한 voxel들 값의 변화량 크기로 Loss를 설계해서 Regularization

Multi-resolution Hash Table: 여러 스케일의 그리드를 구성하고, Voxel값을 Hash Table로 구성

3) Tensor-based NeRF

4) 3D Gaussian Splatting