[논문 리뷰] Ha-NeRF: NeRFwithRealWorld + CNN Appearance Embedding - Hallucinated Neural Radiance Fields in the Wild

💡 💡 본 문서는 'Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections (Arxiv 2024)' 논문을 정리해놓은 글이다.
해당 논문은 관광객이 찍은 데이터셋을 활용하여 3D Reconstruction을 진행하는 Task(unstructured tourist environments)를 해결하기 위한 논문이다. 이는 NeRF 기반이 아닌 Gaussian Splatting 을 활용하였으며, Hierarchical Appearance Modeling과 Depth Regularization을 진행한 것이 특징이니 참고하기 바란다.
 - Project: https://rover-xingyu.github.io/Ha-NeRF/
 - Paper: https://openaccess.thecvf.com/content/CVPR2022/papers/Chen_Hallucinated_Neural_Radiance_Fields_in_the_Wild_CVPR_2022_paper.pdf
 - Github: https://github.com/rover-xingyu/Ha-NeRF

Abstract

Neural Radiance Fields (NeRF)는 최근 인상적인 새로운 뷰 합성 능력으로 인기를 얻고 있습니다. 이 논문은 Hallucinate 상태의 NeRF 문제를 연구합니다: 즉, Tourist Photo Collection에서 하루 중 다른 시간에 현실적인 NeRF를 복구하는 것입니다.

기존 솔루션은 다양한 조건에서 새로운 뷰를 렌더링하기 위해 제어 가능한 Appearance 임베딩을 갖춘 NeRF를 채택하지만, 보이지 않는 Appearance으로 뷰 일관성 있는 이미지를 렌더링할 수는 없습니다.

이 문제를 해결하기 위해 시간에 따라 변하는 Appearance을 처리하고 새로운 뷰로 전달하기 위한 Appearance 환각 모듈을 제안합니다.

관광 이미지의 복잡한 Occlusion을 고려하여 정적 피사체를 정확하게 분해하여 가시성을 확보하기 위해 Occlusion 방지 모듈을 도입합니다. 합성 데이터와 실제 관광 사진 컬렉션에 대한 실험 결과는 우리의 방법이 원하는 Appearance을 환각시키고 다양한 뷰에서 Occlusion이 없는 이미지를 렌더링할 수 있음을 보여줍니다.

이 논문이 가지는 contribution 중 가장 메인이 되는 부분을 정리해보면 다음과 같다.

• Ha-NeRF는 다양한 Appearance과 Occlusion를 가진 이미지 그룹에서 Appearance Hallucinated Radience Field를 복구하기 위해 제안되었다.
• Appearance Hallucinated 모듈은 뷰 일관성 있는 Appearance을 새로운 뷰로 전달하기 위해 개발되었다.
• 2D Visibility Map을 활용한 Occlusion 방지 모듈은 ray visibility을 인식하기 위해 이미지에 따라 모델링된다.

Methods

사진 컬렉션이 주어지면, Ha-NeRF는 Occlusion을 처리하면서 새로운 3D 장면을 재구성한다. 구체적으로, 다양한 조명과 조건에서 이미지를 인코딩하는 외관 인코더를 사용하며, 이를 통해 외관을 수정하고 새로운 뷰에서 복원한다.

그림 2. Ha-NeRF 아키텍처 개요. 이미지 I_i가 주어지면 CNN을 사용하여 외관 잠재 벡터 l_i^a로 인코딩합니다. 우리는 카메라 ray의 위치 x와 뷰 방향 d를 샘플링하고, l_i^a를 MLP에 공급하여 색상 c와 부피 밀도 σ를 생성하고, 재구성된 이미지 ^I_i를 렌더링하여 이미지를 합성합니다. 이미지 의존적 transient 임베딩 l_i^ τ가 주어지면 MLP를 사용하여 픽셀 위치 p를 가시적인 가능성 M_i에 매핑하여  Occlusion  loss가 있는 이미지의 정적 및 transient 현상을 분리할 수 있습니다.

1) View-consistent Hallucination

3D 장면의 Appearance를 일관되게 변경하는 핵심은 장면의 geometry와 Appearance를 분리하고, 새로운 뷰로 외관을 전달하는 것이다. 기존 방법들은 외관 임베딩을 최적화하지만, 본 논문에서는 CNN 기반 인코더(E_ɸ)를 사용해 외관 잠재 벡터(l_i^a)를 학습한다. 이를 통해 새로운 장면에서도 다양한 Appearance를 유연하게 처리할 수 있다.

외관 인코더 E_ɸ의 매개변수 ɸ은 레이디언스 필드 F_θ의 매개변수 θ와 함께 학습됩니다.
이 외관 인코더를 통해 우리의 방법은 학습 세트 이상의 이미지 외관을 유연하게 사용할 수 있습니다.

그림 3. 뷰 일관성 loss의 예시. 이미지 I_i가 주어지면 CNN을 사용하여 외관 잠재 벡터 l_i^a로 인코딩합니다. 다른 뷰에서 카메라 ray를 샘플링하여 환각 이미지 I_r^i를 l_i^a와 함께 렌더링합니다. 환각 이미지에서 인코딩된 재구성된 외관 벡터 l_r^a는 서로 다른 뷰에 걸친 전역 표현이므로 l_i^a와 동일해야 합니다.

그러나 페어링되지 않은 이미지로 외관과 뷰 방향을 분리하는 문제는 본질적으로 ill-posed이며 추가적인 제약이 필요합니다.
잠재 회귀 loss를 활용하여 이미지 공간과 잠재 공간 간의 반전 매핑을 장려하는 최근 연구 [20, 23, 62]에서 영감을 받아, 외관 인코더 E_ɸ에서 외관 벡터 l_i^(a)를 가져와 외관과 시야의 분리를 달성하기 위해 뷰 일관성 loss L_v를 제안하고

로 공식화된 다양한 뷰에서 재구성을 시도하며, 여기서 I_i^r은 그림 3과 같이 뷰가 랜덤으로 생성되고 이미지 I_i에 외관이 조건화된 렌더링된 이미지입니다.
여기서 우리는 재구성된 외관 벡터 E_ɸ(I_i^r)가 서로 다른 뷰에서 전역적으로 표현되므로 원래 외관 벡터 l_i^a와 동일해야 한다고 가정합니다.
뷰 일관성 loss로 인해 입력과 동일한 외관 벡터가 주어지면 뷰 일관성 있는 모양 렌더링을 수행할 수 있습니다.
또한 동일한 벡터에서 볼륨을 컨디셔닝할 때 서로 다른 뷰 (또한 콘텐츠)의 렌더링 이미지를 동일한 벡터로 인코딩하는 뷰 일관성 loss를 통해 이미지 지오메트리 콘텐츠를 외관 벡터로 인코딩하는 것을 방지합니다.

 

효율성을 개선하기 위해 학습 중에 전체 이미지를 렌더링하는 대신 ray 그리드를 샘플링하고 이미지 I_i^r로 결합합니다. [46].

이는 랜덤 그리드를 사용하여 샘플링한 후에도 이미지의 전역 외관 벡터가 변경되지 않는다는 가정을 기반으로 합니다.

 

2) Occlusion Handling

Occlusion을 처리하기 위해 2D Visibility Map을 사용하여 transient 현상을 제거한다. 이는 이미지 의존적인 2D 가시성 맵을 통해 ray의 visibility를 예측하고, 정적 장면과 transient 물체를 정확하게 분리할 수 있도록 한다. 이를 통해 Occlusion loss를 최소화하며, 일관된 3D 장면을 생성한다.

맵을 모델링하기 위해 2D 픽셀 위치 p = (u, v)와 이미지 의존적 transient 임베딩 l_i^ τ를 가시적인 가능성 M에 매핑하는 암시적 연속 함수 F_ψ을 사용합니다:

가시성 맵을 학습합니다, 이는 정적 장면에서 발생한 ray가 이미지의 정적 및 transient 현상을 unsupervised 방식으로 분리하여 Occlusion loss L_o를 초래한다는 것을 나타냅니다:

첫 번째 항은 렌더링된 색상과 ground truth 색상 간의 픽셀 가시성을 고려한 재구성 오류입니다.

눈에 보이는 가능성 M의 값이 클수록 정적 현상에 속한다는 가정 하에서 픽셀에 할당된 중요도가 향상됩니다.

첫 번째 항은 보이지 않는 확률에 승수 λ_o를 갖는 정규화기에 해당하는 두 번째 항으로 균형을 맞추고 있으며, 이는 모델이 정적 현상을 외면하는 것을 방지합니다.

3) Optimization

전체 매개변수(θ, ɸ, ψ)와 이미지별 transient 임베딩을 공동으로 학습하여 Ha-NeRF 모델을 최적화한다.

Experiments

1) Implementation Details

• NeRF 및 NeRF-W의 구현은 기존 연구를 따름.
• Ha-NeRF의 외관 인코더는 CNN 레이어와 완전 연결 레이어로 구성되며, 48차원의 외관 벡터를 생성.
• 2D 가시성 맵은 5개의 완전 연결 레이어로 모델링되고, 가시성 예측은 sigmoid 활성화를 통해 수행.

2) Evaluation

• Baselines: NeRF, NeRF-W, Ha-NeRF(A) (Appearance only), Ha-NeRF(T) (Transient only), Ha-NeRF (Complete model)
• Comparison: PSNR, SSIM, LPIPS를 기준으로 Ha-NeRF의 성능을 평가. Ha-NeRF는 NeRF-W보다 전반적으로 우수한 성능을 보임.

3) Results

Ha-NeRF는 NeRF-W에 비해 더 일관된 외관과 Occlusion 처리 성능을 보이며, PSNR, SSIM, LPIPS에서 경쟁력 있는 성능을 보여준다. 또한 Ha-NeRF는 다양한 외관 조건에서 사실적인 이미지를 환각하며, Occlusion을 처리하여 정적 구조를 정확하게 재구성한다.

그림 4. 구축된 데이터 세트에 대한 실험의 정성적 결과. Ha-NeRF는 외관을 인코딩하여 새로운 뷰(예: "Sacre Coeur"의 푸른 하늘과 햇살, "Brandenburg Gate"의 식물, "Trevi Fountain"의 빛 반사)에 사실적으로 전달할 수 있습니다. 또한 Ha-NeRF는 Transient Occlusion을 제거하여 일관된 3D 장면 지오메트리(예: "Brandenburg Gate"의 정사각형 및 기둥)를 렌더링합니다.

그림 4는 장면 하위 집합에 대한 모든 모델과 베이스라인에 대한 정성적 결과를 보여준다. NeRF는 고스팅 아티팩트와 전역 색상 이동으로 인해 어려움을 겪고 있다. NeRF-W는 보다 정확한 3D 재구성을 생성하고 다양한 광도 효과를 모델링할 수 있다. 그러나 여전히 "Brandenburg Gate" 주변의 안개 효과와 같은 블러 아티팩트로 인해 어려움을 겪고 있다.

이러한 안개 효과는 transient 현상을 재구성하기 위해 3D transient 필드를 추정하려는 NeRF-W의 시도의 결과이며, transient 물체는 단일 이미지에서만 관찰된다. 동시에 NeRF-W의 렌더링도 "Sacre Coeur"의 햇빛과 푸른 하늘, "Trevi Fountain"의 빛 반사와 같이 ground truth와 비교하여 다른 모습을 보이는 경향이 있다.

Ha-NeRF(A)는 "Sacre Coeur" 상단의 파란색 하늘과 같이 보다 일관된 모양을 가지고 있다. 그러나 Occlusion으로 인해 고주파 디테일을 재구성할 수 없다. 반면, Ha-NeRF(T)는 "Brandenburg Gate"의 정사각형과 같은 Occlusion이 있는 구조를 재구성할 수 있지만 다양한 광도 효과를 모델링할 수 없다. Ha-NeRF는 두 가지 ablations의 장점이 있으므로 더 나은 외관과 Occlusion 방지 렌더링을 생성한다.

표 1. 구축된 데이터 세트에 대한 실험의 정량적 결과. Ha-NeRF는 경쟁력 있는 PSNR 및 SSIM을 달성하는 동시에 NeRF-W와 비교했을 때 불공정한 실험 설정에도 불구하고 모든 데이터 세트에서 LPIPS에서 다른 것보다 우수한 성능을 발휘합니다.

정량적 결과는 표 1에 요약되어 있다. Ha-NeRF는 모든 데이터 세트에서 LPIPS에서 다른 것보다 성능이 뛰어나면서 NeRF-W에 비해 경쟁력 있는 PSNR 및 SSIM을 달성한다.

Appearance Hallucination.

Ha-NeRF는 외관을 일관되게 전달하며, 다양한 환경 조건에 맞게 조정된 이미지를 생성할 수 있다. 이는 기존 NeRF-W가 처리하지 못한 전역 색상 변화를 처리하는 데 유리하다.

그림 5. 날씨, 계절 및 후처리 필터와 같은 전역 색상 변화가 있는 "Brandenburg Gate" 데이터 세트의 환각. 가장 왼쪽 열 콘텐츠 이미지와 뷰 방향이 같고 외관이 맨 윗줄 외관 이미지에 조건이 지정된 이미지가 있습니다.

그림 5에서 예제 이미지에서 추출한 다양한 외관 벡터를 사용하여 Ha-NeRF에서 생성한 렌더링 이미지를 볼 수 있다. 또한 학습 중에 외관 벡터가 최적화된 NeRF-W의 결과도 보여준다. Ha-NeRF는 사실적인 이미지를 환각시키는 반면, NeRF-W는 예제 이미지와 비교하여 전역적인 색상 변화가 나타난다.

또한 그림 6은 Ha-NeRF가 모양의 고주파 정보를 캡처하고 장면의 햇빛과 색광 반사를 환각할 수 있음을 보여준다

그림 6. 햇빛 및 유색 빛 반사와 같은 모양에 대한 높은 빈도의 정보를 가진 "Trevi Fountain" 데이터 세트의 환각. 가장 왼쪽 열 콘텐츠 이미지와 뷰 방향이 같고 맨 위 줄의 예제 외관 이미지에서 외관이 조건화된 이미지가 있다.

그림 7. 외관 1과 외관 2 사이에 보간된 외관을 가진 고정 카메라 위치에서 렌더링된 이미지.

Ha-NeRF는 다른 환각을 얻기 위해 Appearance 벡터를 interpolation할 수도 있다. 그림 7에서는 고정된 카메라 위치에서 렌더링된 5개의 이미지를 제시하며, 여기서 가장 왼쪽 및 오른쪽 이미지에서 인코딩된 외관 벡터를 interpolation했다.

이때, 보간된 NeRF-W의 결과는 일몰 광채를 완전히 무시하며, transient 물체가 완전히 제거되지 않은 것을 확인할 수 있다. 이는 NeRF-W가 가변 외관(일몰 광채)과 transient 현상(사람)을 잘 분리하지 못한다는 것을 보여준다.

그림 8. "Trevi Fountain"의 예시 이미지에서 "Brandenburg Gate" 조건의 교차 데이터 세트 환각.

Cross-Appearance Hallucination.

우리는 다른 데이터 세트에서 사용자가 제공한 예제 이미지로 Appearance Transfer을 수행할 수 있다. 그림 8과 같이 "Trevi Fountain"의 예제 이미지에서 "Brandenburg Gate" 조건에 대한 새로운 외관을 환각한다.

그림 9. 서로 다른 관점에서 근본적으로 다른 장면에서 환각적인 모습. (예: 숲 예술 작품부터 건물까지)

그림 10. Ha-NeRF 및 NeRF-W. NeRF-W transient의 Occlusion 방지 렌더링은 개별 이미지에서만 관찰되는 transient 물체를 재구성하려고 시도하는 NeRF-W의 3D transient 필드의 렌더링이다. 이미지의 정적 현상과 transient 현상을 분리하는 방법을 학습한 2D 가시성 맵으로 Ha-NeRF 가시성을 표시하여 정적 장면에서 발생한 ray의 가시성을 나타낸다.

Occlusion Handling.

이미지 의존적 2D 가시성 맵을 사용하여 transient 현상을 제거하는 반면, NeRF-W는 3D transient도 필드를 사용하여 transient 객체를 재구성한다.

그림 10에 나와 있듯이 Occlusion 처리 방법은 정적 장면과 transient 객체 사이에 정확한 세그멘테이션을 생성하여 Occlusion 없는 이미지를 렌더링할 수 있다.

그러나 NeRF-W는 장면 (예: 보드, 사람, 울타리가 NeRF-W 렌더링에 그대로 남아 있음)을 부정확하게 분해하고 3D transient 필드에서 Variable Appearance과 Transient Occlusion을 더욱 얽히게 한다.

Conclusion

NeRF는 관광 이미지 재구성 등에서 우수한 성능을 보이지만, 학습되지 않은 외관에서는 일관된 뷰 합성이 어려웠다. Ha-NeRF는 이러한 문제를 해결하여, 변동하는 외관과 복잡한 Occlusion을 효과적으로 처리하는 방법을 제시한다. 이를 통해 현실적인 3D 장면을 생성할 수 있으며, 연구 커뮤니티에 코드와 모델이 공개되어 재현 가능한 연구를 촉진한다.