[논문 리뷰] HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting (CVPR 2024)

💡 💡 본 문서는 'HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting (CVPR 2024) 논문을 정리해놓은 글이다.
해당 논문은 관광객이 찍은 데이터셋을 활용하여 3D Reconstruction을 진행하는 Task(unstructured tourist environments)를 해결하기 위한 논문이다. 이는 NeRF 기반이 아닌 Gaussian Splatting 을 활용하였으며, Hierarchical Appearance Modeling과 Depth Regularization을 진행한 것이 특징이니 참고하기 바란다.
 - Project: https://alvinliu0.github.io/projects/HumanGaussian
 - Paper: https://arxiv.org/abs/2311.17061
 - Github: https://github.com/alvinliu0/HumanGaussian

Abstract

텍스트 프롬프트에서 Realistic 3D 인간 생성은 아직 challenging task이다. 기존 방법은 부적절한 세부 사항(inadequate fine details)이나 과도한 훈련 시간으로 인해 어려움을 겪는 score distillation sampling(SDS)을 통해 mesh or neural fields과 같은 3D 표현을 최적화한다.

본 논문에서는 fine-grained 기하학적 구조와 사실적인 외관을 가진 고품질 3D 인간을 생성하는 효율적이면서도 효과적인 프레임워크인 HumanGaussian을 제안한다. 우리의 핵심 인사이트는 3D Gaussian Splatting이 주기적인 가우시안 축소 또는 성장을 가진 효율적인 렌더링이며, 이러한 adaptive density control는 내재적 인간 구조에 의해 자연스럽게 유도될 수 있다는 것입니다.

구체적으로, 1) 먼저 인간의 외관과 기하학을 동시에 최적화하는 Structure-Aware SDS를 제안합니다. RGB와 depth space의 multi-modal score 함수는 가우시안 밀도화 및 가지치기 프로세스를 증류하는 데 활용된다. 2) 또한 SDS를 noisier generative score와 cleaner classifier score로 분해하여 Annealed Negative Prompt Guidance를 고안하여 over-saturation 문제를 잘 해결 한다. floating artifacts는 가지치기 전용 단계의 가우시안 크기에 따라 추가로 제거되어 generation smoothness을 향상시킨다. 광범위한 실험을 통해 프레임워크의 우수한 효율성과 경쟁 품질을 입증하여 다양한 시나리오에서 생생한 3D 인간을 렌더링한다.

이 논문이 가지는 contribution 중 가장 메인이 되는 부분을 정리해보면 다음과 같다.

•  

Related Works

3D Neural Representations

voxel, point cloud, mesh, and neural field와 같은 공간 기하학 및 텍스처 모델링을 위해 다양한 3D Representation이 제안된다. 학습 시간, 메모리 효율성, 렌더링 기능 및 네트워크 호환성 사이의 균형을 유지하기 위해 문제 설정에 따라 다양한 표현이 선택됩니다:

• 1) Voxel: 장면 정보를 그리드 방식으로 저장하는 유클리드 표현으로 CNN에 쉽게 적용할 수 있지만 [9, 46, 84] 입방 계산 비용으로 인해 렌더링 해상도가 제한된다.
• 2) Point cloud: 3D 표면에서 샘플링된 discrete 포인트 세트인 포인트 클라우드는 렌더링 [38, 57, 58]에 효율적이다. 그러나 불연속적인 특성으로 인해 fine-grained details을 캡처를 못한다.
• 3) Mesh, 가장자리 및 면 간의 연결성을 표현하는 간결한 표현인 메시는 잘 둘러싸인 그래픽 파이프라인[16, 78, 81]에서 시간 효율성을 계승하지만 정확한 토폴로지를 만드는 데 어려움을 겪는다.
• 4) Neural field: 각 3D 위치의 속성의 암묵적 함수인 신경망은 복잡한 구조를 임의의 해상도로 모델링할 수 있지만 [41, 49, 53, 83, 85] 최적화와 추론은 느리다. 최근 3D Gaussian Splatting(3DGS)[31, 45]은 3D 재구성에서 더 나은 품질과 더 빠른 수렴으로 이전 표현을 능가하는 인상적인 결과를 보여주었다.

이 연구에서는 text-driven 3D human generation의 challenging task에서 3D Gaussian Splatting의 잠재력을 올리려고 한다.

Text-to-3D Generation

최근의 diffusion-based text-to-3D 작업은 두 가지 유형으로 그룹화할 수 있습니다:

• 1) 3D native pipelines: 특정 도메인에서 3D 데이터[28, 44, 51] 또는 재구성된 중간 기능[5, 8, 15, 52]의 분포를 직접 캡처하는 3D 네이티브 파이프라인입니다. 일부 최근 작업[2, 21]은 Objaverse [10]와 같은 대규모 3D 데이터 세트에 대한 훈련을 통해 모델의 용량을 확장하지만, 여전히 단일 개체에 국한되어 있습니다.
• 2) Optimization-based 2D lifting pipelines: 최적화 기반 2D 리프팅 파이프라인은 2D 도메인에서 이전에 학습한 풍부한 데이터를 증류하여 프롬프트 방식으로 3D 장면 표현을 최적화합니다. 예를 들어, 일부 초기 시도는 CLIP 가이던스[59]를 사용하여 멀티뷰 이미지 텍스트 정렬을 강화하는 반면, 최근의 방법은 예시적인 텍스트-이미지 모델[6, 47, 56, 77, 80]에서 전례 없는 렌더링 품질을 계승하기 위해 증류 샘플링(SDS)을 점수화하는 데 의존합니다. 특히 NeRF의 높은 계산 부담은 긴 훈련 시간을 필요로 하므로 text-to-3D 생성을 위한 가우스 스플랫의 표현을 적응하기 위한 동시 작업에 동기를 부여합니다[7, 74, 86].

이 작업에서는 효율성과 효율성 때문에 3D 가우스를 선택하지만, 미세한 디테일 캡처와 현실적인 텍스처 생성이 모두 요구되는 텍스트 기반 3D 인간 영역에 초점을 맞춥니다.

Methods

TBD...