3D-Aware 비디오 생성의 혁신: Diffusion as Shader (DaS)


중국 연구진이 개발한 Diffusion as Shader (DaS)는 3D 추적 비디오를 활용하여 다양한 비디오 제어 작업을 가능하게 하는 혁신적인 3D-Aware 비디오 확산 모델입니다. 단기간의 미세 조정으로도 메쉬-비디오 생성, 카메라 제어 등 다양한 작업에서 뛰어난 성능을 보여주어, AI 기반 비디오 생성 기술의 발전에 크게 기여할 것으로 기대됩니다.

related iamge

텍스트 프롬프트나 이미지로부터 고품질 비디오를 생성하는 데 있어 확산 모델(Diffusion Model)의 놀라운 성능은 이미 잘 알려져 있습니다. 하지만 카메라 조작이나 콘텐츠 편집과 같은 비디오 생성 과정에 대한 정밀한 제어는 여전히 상당한 과제로 남아 있습니다. 기존의 제어 가능한 비디오 생성 방법들은 일반적으로 단일 제어 유형으로 제한되어 다양한 제어 요구 사항을 처리하는 데 유연성이 부족했습니다.

그 한계를 극복한 획기적인 연구가 등장했습니다. 중국 연구진(Zekai Gu 외)이 발표한 Diffusion as Shader (DaS) 논문은 이러한 문제에 대한 해결책을 제시합니다. DaS는 다양한 비디오 제어 작업을 통합된 아키텍처 내에서 지원하는 혁신적인 접근 방식을 선보였습니다.

DaS의 핵심 통찰력은 다재다능한 비디오 제어를 달성하려면 3D 제어 신호를 활용해야 한다는 점입니다. 비디오는 근본적으로 동적인 3D 콘텐츠의 2D 렌더링이기 때문입니다. 기존 방법들이 2D 제어 신호에 국한된 것과 달리, DaS는 3D 추적 비디오를 제어 입력으로 활용하여 비디오 확산 과정을 본질적으로 3D 인식으로 만듭니다. 이 혁신적인 접근 방식을 통해 DaS는 단순히 3D 추적 비디오를 조작함으로써 광범위한 비디오 제어를 달성할 수 있습니다.

또한 3D 추적 비디오를 사용하는 또 다른 장점은 프레임을 효과적으로 연결하여 생성된 비디오의 시간적 일관성을 크게 향상시킬 수 있다는 점입니다. 단 3일간의 미세 조정(8개의 H800 GPU 사용, 1만 개 미만의 비디오)만으로도 DaS는 메쉬-비디오 생성, 카메라 제어, 모션 전달, 객체 조작 등 다양한 작업에서 강력한 제어 기능을 보여주었습니다. 이는 비디오 생성 기술의 새로운 지평을 열었다고 평가할 수 있습니다.

결론적으로, DaS는 3D 인식 비디오 확산 모델의 가능성을 보여주는 중요한 연구 결과입니다. 향후 비디오 생성 기술의 발전에 큰 영향을 미칠 것으로 예상되며, 더욱 다양하고 정교한 비디오 제어 기능을 기대할 수 있게 되었습니다. 이 연구는 AI 기반 비디오 생성 기술의 실용성과 잠재력을 한층 더 높였습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control

Published:  (Updated: )

Author: Zekai Gu, Rui Yan, Jiahao Lu, Peng Li, Zhiyang Dou, Chenyang Si, Zhen Dong, Qifeng Liu, Cheng Lin, Ziwei Liu, Wenping Wang, Yuan Liu

http://arxiv.org/abs/2501.03847v2