Dragen3D: 드래그로 제어하는 다중 시점 기하학 일관성 3D 가우시안 생성

Yan Jinbo, Zhao Alan, Hu Yixin 등 연구진이 개발한 Dragen3D는 3D Gaussian Splatting과 혁신적인 제어 전략을 통해 기하학적으로 일관되고 사용자 친화적인 3D 모델 생성 및 편집을 가능하게 하는 기술입니다. 2D 확산 사전에 의존하지 않고도 최첨단 수준의 성능을 달성하여 3D 콘텐츠 제작 분야에 큰 영향을 미칠 것으로 예상됩니다.

혁신적인 3D 모델 생성 기술, Dragen3D 등장!

가상현실, 3D 모델링, 디지털 콘텐츠 제작 분야에서 단일 이미지 기반 3D 생성 기술은 핵심적인 역할을 하고 있습니다. 하지만 기존 기술들은 다중 시점 기하학적 일관성 부족과 생성 과정의 제어 한계라는 어려움에 직면해 왔습니다. Yan Jinbo, Zhao Alan, Hu Yixin 등 연구진은 이러한 문제점을 해결하기 위해 Dragen3D라는 획기적인 방법을 제시했습니다.

Dragen3D는 3D Gaussian Splatting (3DGS) 을 기반으로 기하학적으로 일관되고 제어 가능한 3D 모델 생성을 실현합니다. 핵심은 Anchor-Gaussian Variational Autoencoder (Anchor-GS VAE) 입니다. 이는 점군과 단일 이미지를 앵커 잠재 변수로 인코딩하고, 이를 통해 3DGS를 디코딩하여 효율적인 잠재 공간 생성을 가능하게 합니다.

하지만 단순한 생성만으로는 부족합니다. 여기서 연구진은 Seed-Point-Driven 전략을 도입했습니다. 먼저, 거친 기하학적 표현을 위한 희소한 시드 포인트를 생성하고, 이를 Seed-Anchor 매핑 모듈을 통해 앵커 잠재 변수에 매핑합니다. 이를 통해 쉽게 학습 가능한 희소 시드 포인트를 통해 기하학적 일관성을 보장하고, 사용자는 시드 포인트를 직관적으로 드래그하여 최종 3DGS 기하학을 변형할 수 있습니다. 변화는 앵커 잠재 변수를 통해 전파됩니다.

2D 확산 사전에 의존하지 않고 기하학적으로 제어 가능한 3D 가우시안 생성 및 편집을 달성한 최초의 사례로, 최첨단 방법들과 비교할 만한 3D 생성 품질을 제공합니다. Dragen3D는 단순한 3D 모델 생성을 넘어, 사용자의 직관적인 상호 작용을 통해 더욱 자유롭고 창의적인 3D 콘텐츠 제작의 시대를 열어갈 것으로 기대됩니다. 향후 이 기술이 어떻게 발전하고 다양한 분야에 적용될지 기대됩니다.

주요 내용:

• 문제: 기존 단일 이미지 3D 생성 기술의 다중 시점 기하학적 일관성 부족 및 제어 한계
• 해결책: Dragen3D - 3D Gaussian Splatting 기반, Anchor-GS VAE 및 Seed-Point-Driven 전략 활용
• 결과: 2D 확산 사전 없이 기하학적으로 제어 가능한 3D 가우시안 생성 및 편집 달성, 최첨단 수준의 3D 생성 품질 제공