텍스트로 비디오 생성의 새로운 지평을 연 LanDiff: 언어 모델과 확산 모델의 만남

LanDiff는 언어 모델과 확산 모델을 결합한 혁신적인 텍스트-비디오 생성 모델로, 50억 매개변수로 130억 매개변수 모델들을 능가하는 성능을 보였습니다. 의미 토큰화 기술을 통해 높은 압축률을 달성했고, 장편 비디오 생성에서도 최첨단 성능을 기록했습니다.

최근 텍스트를 기반으로 비디오를 생성하는 기술(T2V) 분야에서 괄목할 만한 발전이 이루어지고 있습니다. 두 가지 주요 패러다임, 즉 자기회귀 언어 모델과 확산 모델이 경쟁적으로 발전해왔지만, 각각 시각적 품질 저하 및 오류 누적, 의미 이해 부족 및 인과 모델링 부재라는 고질적인 문제에 직면해 있었습니다.

하지만 이러한 한계를 뛰어넘는 혁신적인 모델이 등장했습니다. 바로 LanDiff입니다! Aoxiong Yin을 비롯한 연구팀은 언어 모델과 확산 모델의 장점을 결합한 하이브리드 프레임워크 LanDiff를 통해 '최고의 두 세계를 하나로' 통합하는 데 성공했습니다.

LanDiff의 핵심 혁신은 다음 세 가지입니다.

1. 의미 토큰화(Semantic Tokenization): 3차원 시각적 특징을 1차원 이산 표현으로 압축하는 획기적인 기술입니다. 무려 14,000배의 압축률을 달성하여 연산 효율과 저장 공간 절약에 크게 기여했습니다. 마치 고해상도 사진을 손실 없이 압축하는 것과 같다고 할 수 있습니다.
2. 고급 의미 관계를 생성하는 언어 모델: 단순한 단어 나열이 아닌, 의미적으로 깊이 있는 관계를 파악하여 비디오 생성에 활용합니다. 이는 생성되는 비디오의 내용 일관성과 의미 전달력을 높이는 데 중요한 역할을 합니다.
3. 스트리밍 확산 모델: 언어 모델이 생성한 고차원 의미를 고해상도 비디오로 정교하게 다듬는 역할을 합니다. 이를 통해 고품질의 시각적 결과물을 얻을 수 있습니다.

LanDiff는 50억 개의 매개변수를 가진 비교적 작은 모델이지만, VBench T2V 벤치마크에서 85.43점이라는 놀라운 성과를 기록했습니다. 이는 130억 매개변수의 Hunyuan Video를 비롯한 다른 오픈소스 모델과 Sora, Kling, Hailuo 등 상용 모델들을 모두 뛰어넘는 결과입니다. 특히, 장편 비디오 생성에서도 최첨단 성능을 보여주며 그 가능성을 입증했습니다. LanDiff 데모는 https://landiff.github.io/에서 확인할 수 있습니다.

LanDiff의 등장은 텍스트 기반 비디오 생성 분야에 새로운 이정표를 세웠습니다. 단순한 기술적 진보를 넘어, 향후 비디오 콘텐츠 제작 방식에 혁신적인 변화를 가져올 가능성을 보여주는 획기적인 성과라고 할 수 있습니다. 앞으로 LanDiff가 어떻게 발전하고 활용될지 기대됩니다.