DiTCtrl: 튜닝 없이 다중 프롬프트 장편 비디오 생성을 위한 멀티모달 확산 트랜스포머의 어텐션 제어 탐색
본 기사는 8명의 연구진이 개발한 DiTCtrl이라는 새로운 다중 프롬프트 비디오 생성 방법과, 이를 평가하기 위한 새로운 벤치마크 MPVBench에 대한 내용을 다룹니다. DiTCtrl은 기존 방법들의 한계를 극복하고 추가 훈련 없이도 우수한 성능을 보여주는 혁신적인 기술로 평가받고 있습니다.

혁신적인 비디오 생성 기술, DiTCtrl 등장
최근 Sora와 같은 비디오 생성 모델이 괄목할 만한 발전을 이루었습니다. 특히 멀티모달 확산 트랜스포머(MM-DiT) 아키텍처는 주목할 만한 성과를 보여주고 있습니다. 하지만 현재의 비디오 생성 모델들은 주로 단일 프롬프트에 초점을 맞추고 있어, 실제 세계의 역동적인 상황을 더 잘 반영하는 다중 순차 프롬프트를 사용한 일관된 장면 생성에는 어려움을 겪고 있습니다.
일부 선구적인 연구들이 다중 프롬프트 비디오 생성을 탐구했지만, 엄격한 훈련 데이터 요구사항, 약한 프롬프트 따르기, 부자연스러운 전환 등의 어려움에 직면해 왔습니다.
Cai Minghong 등 8명의 연구진은 이러한 문제를 해결하기 위해, MM-DiT 아키텍처에서 훈련이 필요없는 최초의 다중 프롬프트 비디오 생성 방법인 DiTCtrl을 제안했습니다. DiTCtrl의 핵심 아이디어는 다중 프롬프트 비디오 생성 작업을 매끄러운 전환을 포함하는 시간적 비디오 편집으로 간주하는 것입니다.
연구진은 MM-DiT의 어텐션 메커니즘을 분석하여 3D 풀 어텐션이 UNet 유사 확산 모델의 크로스/셀프 어텐션 블록과 유사하게 동작함을 발견했습니다. 이를 통해 다중 프롬프트 비디오 생성을 위한 어텐션 공유를 통한 마스크 기반의 정밀한 의미적 제어가 가능해집니다.
DiTCtrl에 의해 생성된 비디오는 추가적인 훈련 없이도 다중 순차 프롬프트를 고려하여 매끄러운 전환과 일관된 객체 움직임을 달성합니다. 뿐만 아니라 연구진은 다중 프롬프트 비디오 생성 성능을 평가하기 위한 새로운 벤치마크인 MPVBench도 제시했습니다. 광범위한 실험 결과, DiTCtrl은 추가적인 훈련 없이 최첨단 성능을 달성하는 것으로 나타났습니다.
DiTCtrl은 다중 프롬프트 비디오 생성 분야에 새로운 가능성을 제시하며, 더욱 자연스럽고 현실적인 비디오 생성 기술의 발전에 크게 기여할 것으로 기대됩니다. 앞으로 DiTCtrl을 기반으로 한 다양한 응용 프로그램들이 등장할 것으로 예상되며, 이는 영화 제작, 게임 개발, 교육 등 다양한 분야에 혁신을 가져올 수 있을 것입니다. 하지만, MPVBench를 통한 객관적인 성능 평가와 실제 응용 시나리오에서의 성능 검증은 향후 과제로 남아있습니다.
Reference
[arxiv] DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation
Published: (Updated: )
Author: Minghong Cai, Xiaodong Cun, Xiaoyu Li, Wenze Liu, Zhaoyang Zhang, Yong Zhang, Ying Shan, Xiangyu Yue
http://arxiv.org/abs/2412.18597v1