HiTVideo: 계층적 토크나이저를 활용한 텍스트-비디오 생성의 새로운 지평

중국과학원 연구진이 개발한 HiTVideo는 계층적 토크나이저를 활용하여 텍스트-비디오 생성의 효율성과 품질을 크게 향상시켰습니다. 기존 방식 대비 70%의 bpp 감소를 달성했으며, 고압축된 의미 토큰을 통해 LLM 모델링을 단순화하여 확장성을 높였습니다.

텍스트에서 비디오로: HiTVideo의 혁신적인 도약

텍스트를 이용해 비디오를 생성하는 것은 시간적, 공간적 차원을 모두 고려해야 하는 비디오 데이터의 복잡성 때문에 매우 어려운 과제입니다. 기존의 방법들은 중복성, 급격한 변화, 그리고 언어와 비전 토큰 간의 도메인 차이 등의 문제에 직면해 왔습니다. 중국과학원 등의 연구진이 발표한 HiTVideo는 이러한 문제에 대한 획기적인 해결책을 제시합니다.

계층적 토크나이저: 효율성과 품질의 조화

HiTVideo의 핵심은 바로 계층적 토크나이저입니다. 이는 기존의 단순한 토크나이징 방식을 넘어, 비디오 콘텐츠를 계층적으로 구조화된 코드북으로 인코딩하는 3D 인과 VAE(Variational Autoencoder)와 다층 이산 토큰 프레임워크를 활용합니다. 상위 계층은 높은 압축률로 의미 정보를 포착하고, 하위 계층은 세밀한 시공간적 디테일을 담당하여 압축 효율과 재구성 품질 간의 균형을 이룹니다. 마치 전통 애니메이션 제작 과정처럼, 큰 그림부터 세부 묘사까지 단계적으로 비디오를 표현하는 것입니다. 이는 VQ-VAE-2의 관찰 결과에서 영감을 얻은 것입니다.

압축률 70% 향상: 효율성의 극대화

HiTVideo는 8초 길이(64프레임)의 긴 비디오 시퀀스도 효율적으로 인코딩합니다. 놀랍게도 기존 토크나이저 대비 약 70%의 bpp(bits per pixel) 감소를 달성하면서 경쟁력 있는 재구성 품질을 유지합니다. 이는 압축과 재구성 사이의 최적점을 찾는 연구진의 노력의 결과입니다. 특히 고압축된 의미 토큰은 텍스트-비디오 생성 작업에서 큰 이점을 제공합니다.

대규모 언어 모델(LLM)과의 시너지: 확장성의 미래

HiTVideo는 기존 텍스트-비디오 생성 방식의 한계를 극복하고, 더 높은 압축률을 달성하여 LLM 모델링을 단순화합니다. 이는 텍스트-비디오 생성 기술의 확장성과 발전에 크게 기여할 것으로 기대됩니다. 연구진은 HiTVideo 데모 페이지 (https://ziqinzhou66.github.io/project/HiTVideo)를 통해 HiTVideo의 놀라운 성능을 직접 확인할 수 있도록 공개했습니다.

Zhou Ziqin, Yang Yifan, Yang Yuqing, He Tianyu, Peng Houwen, Qiu Kai, Dai Qi, Qiu Lili, Luo Chong, Liu Lingqiao 등 10명의 연구진이 이룬 이 혁신적인 성과는 텍스트-비디오 생성 기술의 새로운 장을 열 것으로 예상됩니다. 앞으로 HiTVideo가 어떻게 발전하고, 다양한 분야에 적용될지 기대됩니다.