3D 인식 비디오 확산 모델 DaS: 다재다능한 비디오 생성 제어의 혁신


DaS는 3D 추적 비디오를 제어 신호로 활용하는 혁신적인 비디오 확산 모델로, 다양한 비디오 제어 작업을 통합적으로 수행하며 높은 시간적 일관성을 제공합니다. 단기간의 미세 조정으로도 뛰어난 성능을 보여주는 DaS는 비디오 생성 기술의 새로운 지평을 열 것으로 기대됩니다.

related iamge

텍스트 프롬프트나 이미지에서 고품질 비디오를 생성하는 데 있어 확산 모델의 놀라운 성능이 주목받고 있습니다. 하지만 카메라 조작이나 콘텐츠 편집과 같은 비디오 생성 과정에 대한 정밀한 제어는 여전히 큰 과제로 남아있습니다. 기존의 제어 가능한 비디오 생성 방법들은 대개 단일 제어 유형으로 제한되어 다양한 제어 요구사항을 처리하는 데 유연성이 부족했습니다.

이러한 한계를 극복하기 위해 등장한 것이 바로 Diffusion as Shader (DaS)입니다. Gu Zekai 등 연구진이 발표한 DaS는 통합된 아키텍처 내에서 여러 비디오 제어 작업을 지원하는 혁신적인 접근 방식입니다. DaS의 핵심 아이디어는 다재다능한 비디오 제어를 달성하려면 비디오가 근본적으로 동적인 3D 콘텐츠의 2D 렌더링이라는 점을 고려하여 3D 제어 신호를 활용해야 한다는 것입니다.

기존의 2D 제어 신호에 국한된 방법들과 달리, DaS는 3D 추적 비디오를 제어 입력으로 활용하여 비디오 확산 과정을 본질적으로 3D 인식으로 만듭니다. 이러한 혁신을 통해 DaS는 단순히 3D 추적 비디오를 조작하여 광범위한 비디오 제어를 달성할 수 있습니다. 또한 3D 추적 비디오를 사용하는 또 다른 장점은 프레임을 효과적으로 연결하여 생성된 비디오의 시간적 일관성을 크게 향상시킬 수 있다는 점입니다.

단 8개의 H800 GPU를 사용하여 10,000개 미만의 비디오로 3일간의 미세 조정만으로 DaS는 메시-비디오 생성, 카메라 제어, 모션 전이, 개체 조작을 포함한 다양한 작업에서 강력한 제어 기능을 보여줍니다. 이는 비디오 생성 기술의 패러다임을 바꿀 잠재력을 가지고 있으며, 향후 다양한 분야에서 활용될 것으로 기대됩니다. 향상된 시간적 일관성과 다양한 제어 기능은 영화 제작, 게임 개발, 가상현실 등 다양한 분야에 혁신적인 영향을 미칠 것입니다. 그러나, 더욱 광범위한 데이터셋과 다양한 시나리오에 대한 추가적인 연구가 필요할 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control

Published:  (Updated: )

Author: Zekai Gu, Rui Yan, Jiahao Lu, Peng Li, Zhiyang Dou, Chenyang Si, Zhen Dong, Qifeng Liu, Cheng Lin, Ziwei Liu, Wenping Wang, Yuan Liu

http://arxiv.org/abs/2501.03847v1