Pandora3D: 다양한 입력으로 고품질 3D 모델과 질감 생성을 가능하게 하는 텐센트의 혁신적인 프레임워크

텐센트의 Pandora3D는 VAE와 확산 네트워크를 기반으로 이미지, 멀티뷰 이미지, 텍스트 등 다양한 입력을 통해 고품질 3D 모델과 질감을 생성하는 혁신적인 프레임워크입니다. 다단계 질감 생성 프로세스와 일관성 스케줄러를 통해 현실감 있는 결과물을 제공하며, 공개된 소스 코드를 통해 향후 3D 생성 기술 발전에 크게 기여할 것으로 예상됩니다.

Pandora3D: 이미지부터 텍스트까지, 3D 모델 생성의 새로운 지평을 열다

텐센트가 발표한 Pandora3D는 단순한 3D 모델 생성을 넘어, 현실과 같은 사실적인 질감까지 구현하는 혁신적인 프레임워크입니다. 이미지, 멀티뷰 이미지, 텍스트 등 다양한 입력 프롬프트를 통해 고품질의 3D 형상과 질감을 생성할 수 있다는 점에서 주목할 만합니다.

3D 형상 생성: VAE와 확산 네트워크의 조화

Pandora3D의 핵심은 VAE(Variational Autoencoder)와 확산 네트워크의 결합입니다. VAE는 복잡한 3D 기하 정보를 효율적으로 잠재 공간에 인코딩하고, 확산 네트워크는 입력 프롬프트를 조건으로 이 잠재 공간에서 고품질의 3D 형상을 생성합니다. 여기에 모델의 용량을 향상시키는 수정을 더하여 더욱 정교한 3D 모델 생성을 가능하게 했습니다. 단순한 형태의 기하 정보를 생성할 때는 Artist-Created Mesh(AM) 방식을 추가적으로 활용하여 성능을 더욱 향상시켰습니다.

질감 생성: 다단계 프로세스와 일관성 스케줄러

Pandora3D의 질감 생성은 단순하지 않습니다. 먼저 정면 이미지를 생성하고, 이후 멀티뷰 이미지 생성, RGB-to-PBR 텍스처 변환, 고해상도 멀티뷰 텍스처 개선의 다단계 과정을 거칩니다. 각 단계마다 일관성 스케줄러가 작동하여 멀티뷰 텍스처 간의 픽셀 단위 일관성을 유지합니다. 이를 통해 생성된 텍스처는 자연스럽고 매끄럽게 통합되어, 마치 실제 물체와 같은 현실감을 제공합니다.

잠재력과 미래

Pandora3D는 다양한 입력 형식을 효과적으로 처리하고, 고급 신경망 아키텍처와 새로운 방법론을 활용하여 고품질 3D 콘텐츠 생성을 가능하게 합니다. 텐센트는 이미 소스 코드와 사전 훈련된 가중치를 공개( https://github.com/Tencent/Tencent-XR-3DGen )하여, 향후 더욱 발전된 3D 생성 기술의 발전에 기여할 것으로 기대됩니다. Pandora3D는 게임 개발, 영화 제작, VR/AR 등 다양한 분야에 혁신을 가져올 잠재력을 가지고 있습니다. 앞으로의 발전이 더욱 기대되는 기술입니다. 🎉