혁신적인 비디오 생성 모델 STIV: 텍스트와 이미지로 비디오를 만들다!


17명의 연구진이 개발한 STIV는 텍스트와 이미지를 조건으로 비디오를 생성하는 혁신적인 모델입니다. Diffusion Transformer 기반의 단순하면서도 강력한 설계로, 기존 최고 성능 모델들을 능가하는 성능을 보여주며 비디오 생성 분야의 새로운 기준을 제시합니다.

related iamge

텍스트와 이미지로 비디오를 생성하는 혁신적인 모델, STIV 등장!

최근 비디오 생성 분야는 눈부신 발전을 이루었지만, 강력하고 확장 가능한 모델 개발을 위한 명확하고 체계적인 방법론은 여전히 부족했습니다. Zongyu Lin 등 17명의 연구진이 발표한 논문은 이러한 한계를 극복하고자 STIV (Scalable Text and Image Conditioned Video Generation) 라는 획기적인 모델을 제시합니다.

STIV는 모델 구조, 학습 방법, 데이터 구성 전략 등을 체계적으로 연구하여 단순하면서도 확장 가능한 텍스트 및 이미지 조건부 비디오 생성 방법을 제시합니다. 핵심은 Diffusion Transformer (DiT) 에 이미지 조건을 프레임 교체를 통해 통합하고, 이미지-텍스트 조건부 분류기 없는 안내를 통해 텍스트 조건을 통합하는 것입니다. 이러한 설계 덕분에 STIV는 텍스트-비디오(T2V)와 텍스트-이미지-비디오(TI2V) 작업을 동시에 수행할 수 있습니다.

더욱 놀라운 것은 STIV의 확장성입니다. 비디오 예측, 프레임 보간, 다중 뷰 생성, 장편 비디오 생성 등 다양한 응용 분야에 쉽게 적용할 수 있습니다. T2I, T2V, TI2V에 대한 포괄적인 실험 결과는 STIV의 단순한 설계에도 불구하고 강력한 성능을 입증합니다. 특히 8.7B 모델(512 해상도)은 VBench T2V에서 83.1, I2V에서 90.1을 달성하며 CogVideoX-5B, Pika, Kling, Gen-3 등 최첨단 오픈소스 및 클로즈드소스 모델들을 뛰어넘는 성능을 보여주었습니다.

STIV는 최첨단 비디오 생성 모델을 구축하기 위한 투명하고 확장 가능한 방법론을 제시함으로써 향후 연구를 지원하고 더욱 다재다능하고 안정적인 비디오 생성 솔루션으로 나아가는 데 기여할 것으로 기대됩니다. 이 연구는 단순히 새로운 모델을 제시하는 것을 넘어, 비디오 생성 분야의 발전 방향을 제시하는 중요한 이정표가 될 것입니다. 앞으로 STIV를 기반으로 더욱 놀라운 비디오 생성 기술의 발전이 기대됩니다! 🎉


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] STIV: Scalable Text and Image Conditioned Video Generation

Published:  (Updated: )

Author: Zongyu Lin, Wei Liu, Chen Chen, Jiasen Lu, Wenze Hu, Tsu-Jui Fu, Jesse Allardice, Zhengfeng Lai, Liangchen Song, Bowen Zhang, Cha Chen, Yiran Fei, Yifan Jiang, Lezhi Li, Yizhou Sun, Kai-Wei Chang, Yinfei Yang

http://arxiv.org/abs/2412.07730v1