Pandora3D: 다양한 입력으로 고품질 3D 모델 생성의 혁신

텐센트의 Pandora3D는 이미지, 멀티뷰 이미지, 텍스트 등 다양한 입력으로 고품질 3D 모델 생성을 가능하게 하는 혁신적인 프레임워크입니다. VAE와 확산 네트워크 기반의 3D 형태 생성과 다단계 질감 생성 파이프라인을 통해 현실감 넘치는 3D 콘텐츠 제작을 지원하며, 게임, 영화, VR/AR 등 다양한 분야에 혁신적인 변화를 가져올 것으로 기대됩니다.

Pandora3D: 이미지부터 텍스트까지, 고품질 3D 모델 생성의 새로운 지평을 열다

텐센트 연구팀이 개발한 Pandora3D 프레임워크는 AI 기반 3D 모델링 분야에 새로운 이정표를 세웠습니다. 단일 이미지, 멀티뷰 이미지, 텍스트 설명 등 다양한 입력 프롬프트를 통해 고품질 3D 형태와 질감을 생성하는 포괄적인 프레임워크인 Pandora3D는 게임, 영화, VR/AR 등 다양한 산업에 혁신적인 변화를 가져올 것으로 예상됩니다.

두 가지 핵심 파이프라인:

Pandora3D는 크게 두 가지 파이프라인으로 구성됩니다.

1. 3D 형태 생성: 이 파이프라인은 VAE(Variational Autoencoder)를 사용하여 암시적인 3D 기하학을 잠재 공간으로 인코딩하고, 확산 네트워크를 통해 입력 프롬프트에 따라 잠재 변수를 생성합니다. 모델의 용량을 향상시키기 위한 수정 사항도 포함되어 있습니다. 더 간단한 기하학적 형태에는 아티스트가 만든 메시(AM) 생성 방식도 적용하여 더욱 다양한 결과물을 제공합니다.

2. 질감 생성: 이 파이프라인은 정면 이미지 생성부터 시작하여 멀티뷰 이미지 생성, RGB-PBR 텍스처 변환, 고해상도 멀티뷰 텍스처 개선 등 여러 단계를 거칩니다. 각 단계에는 일관성 스케줄러가 적용되어 멀티뷰 텍스처 간의 픽셀 단위 일관성을 유지하여, 최종 결과물의 매끄러움과 현실감을 높입니다.

뛰어난 성능과 활용 가능성:

Pandora3D는 다양한 입력 형식을 효과적으로 처리하고, 고급 신경망 아키텍처와 새로운 방법론을 활용하여 고품질 3D 콘텐츠를 생성합니다. 텐센트는 Pandora3D의 소스 코드와 사전 훈련된 가중치를 깃허브(https://github.com/Tencent/Tencent-XR-3DGen)를 통해 공개하여, 더 많은 연구자와 개발자가 이 기술을 활용할 수 있도록 지원하고 있습니다.

미래를 향한 발걸음:

Pandora3D는 아직 개발 중이며, 향후 더욱 발전된 기능과 성능 향상을 기대할 수 있습니다. 이 프레임워크는 3D 모델링 분야의 혁신을 주도하며, 가상 세계와 현실 세계의 경계를 허무는 데 중요한 역할을 할 것으로 예상됩니다. 앞으로 Pandora3D가 어떻게 발전하고 어떤 새로운 가능성을 열어갈지 기대됩니다.