꿈꿔왔던 영상 생성의 미래, LanDiff 모델이 열다!

LanDiff 모델은 언어 모델과 확산 모델을 결합하여 텍스트 기반 비디오 생성 분야의 새로운 기준을 제시했습니다. 50억 매개변수의 모델임에도 불구하고, 기존의 대규모 모델들을 능가하는 성능을 보여주며 텍스트 기반 비디오 생성 기술의 발전에 크게 기여했습니다.

최근 텍스트만으로 비디오를 생성하는 기술(T2V) 분야에서 괄목할 만한 발전이 이루어지고 있습니다. 두 가지 주요 패러다임, 즉 자기회귀 언어 모델과 확산 모델이 경쟁적으로 발전해 왔지만, 각각 시각적 품질 저하 및 오류 누적, 의미론적 이해 부족 및 인과 모델링의 어려움이라는 한계를 가지고 있었습니다.

하지만, 이러한 한계를 극복할 혁신적인 모델이 등장했습니다. 바로 LanDiff입니다! Aoxiong Yin 등 7명의 연구자는 최근 논문에서 언어 모델과 확산 모델의 장점을 결합한 하이브리드 프레임워크 LanDiff를 제안했습니다. LanDiff는 '거친 것에서 정교한 것(coarse-to-fine)'으로 생성하는 방식을 채택하여 두 모델의 강점을 시너지 효과를 내도록 설계되었습니다.

LanDiff의 핵심 혁신은 세 가지입니다.

1. 효율적인 의미론적 압축을 통해 3D 시각적 특징을 압축된 1D 이산 표현으로 변환하는 의미론적 토크나이저: 무려 14,000배에 달하는 압축률을 달성했습니다. 이는 모델의 효율성을 극대화하고 연산 부하를 줄이는 데 크게 기여합니다.
2. 고차원 의미 관계를 갖는 의미 토큰을 생성하는 언어 모델: 단순한 시각 정보를 넘어 의미를 이해하고 생성하는 능력을 갖추었습니다.
3. 거친 의미를 고품질 비디오로 개선하는 스트리밍 확산 모델: 언어 모델이 생성한 의미를 바탕으로 실제 비디오를 생성하는 역할을 합니다.

LanDiff는 50억 개의 매개변수를 가진 모델임에도 불구하고, VBench T2V 벤치마크에서 85.43점이라는 놀라운 성적을 기록했습니다. 이는 130억 매개변수의 Hunyuan Video 등 기존 오픈소스 모델은 물론, Sora, Keling, Hailuo와 같은 상용 모델들을 뛰어넘는 성과입니다. 특히 긴 영상 생성 분야에서도 최첨단 성능을 달성, 다른 오픈소스 모델들을 제치고 선두에 섰습니다. LanDiff 데모는 https://landiff.github.io/에서 확인할 수 있습니다.

LanDiff의 등장은 텍스트 기반 비디오 생성 기술의 새로운 지평을 열었습니다. 단순히 기술적 진보를 넘어, 앞으로 영화 제작, 게임 개발, 교육 콘텐츠 제작 등 다양한 분야에서 혁신적인 변화를 가져올 것으로 기대됩니다. 더욱 발전된 LanDiff를 통해 우리는 상상 속 영상을 현실로 만들 수 있는 꿈에 한걸음 더 다가서게 되었습니다.