B-VLLM: 균형 잡힌 시공간 토큰을 활용한 비전 대형 언어 모델
루 주창 등 연구진이 개발한 B-VLLM은 기존 VLLM의 한계를 극복하고 비디오 이해 작업의 효율성과 정확도를 높이는 혁신적인 모델입니다. 텍스트 조건부 적응형 프레임 선택 및 시간적/공간적 토큰 병합 기술을 통해 시공간적 균형을 이루어 다양한 비디오 이해 벤치마크에서 우수한 성능을 보였습니다.

균형 잡힌 시공간 토큰을 활용한 비전 대형 언어 모델: B-VLLM
최근 비전 인코더가 통합된 비전 대형 언어 모델(VLLM)이 비전 이해 분야에서 주목할 만한 성능을 보여주고 있습니다. VLLM의 핵심은 시각적 콘텐츠를 시각 토큰 시퀀스로 인코딩하여 시각 및 텍스트 콘텐츠를 동시에 처리하는 것입니다. 하지만 특히 긴 비디오의 경우, 비디오 인코딩 시 시각 토큰 수가 급증하여 VLLM의 컨텍스트 창을 초과하고 계산 부하가 증가하는 문제가 있습니다.
기존 VLLM은 이 문제를 해결하기 위해 (1) 비디오를 고정된 수의 프레임으로 균일하게 다운샘플링하거나 (2) 각 프레임에서 인코딩되는 시각 토큰 수를 줄이는 방법을 사용했습니다. 하지만 (1)번 방법은 비디오의 풍부한 시간적 정보를 무시하고, (2)번 방법은 각 프레임의 공간적 세부 정보를 간과하는 단점이 있습니다.
루 주창(Zhuqiang Lu) 등 연구진이 발표한 B-VLLM (Balanced-VLLM) 은 이러한 한계를 극복하기 위해 고안된 혁신적인 모델입니다. B-VLLM은 VLLM 컨텍스트 창 길이 내에서 시각 토큰 수를 제한하면서 작업 관련 시공간적 단서를 효과적으로 활용하는 것을 목표로 합니다.
B-VLLM의 핵심은 텍스트 조건부 적응형 프레임 선택 모듈입니다. 이 모듈은 비전 이해 작업과 관련된 프레임을 식별합니다. 선택된 프레임은 시간적 프레임 토큰 병합 기술을 사용하여 중복을 제거합니다. 선택된 프레임의 시각 토큰은 공간 토큰 샘플링 모듈과 선택적 공간 토큰 병합 전략을 통해 처리되어 토큰 수를 정밀하게 제어합니다.
실험 결과, B-VLLM은 비디오 이해에서 프레임과 시각 토큰 수의 균형을 효과적으로 조절하여 다양한 비디오 이해 벤치마크에서 우수한 성능을 달성했습니다. 코드는 GitHub에서 확인할 수 있습니다. B-VLLM은 비디오 이해의 새로운 지평을 열 것으로 기대됩니다. 특히, 긴 비디오 처리의 효율성을 극대화하면서 정확도를 높인다는 점에서 큰 의미를 지닙니다. 향후 연구에서는 다양한 비디오 유형 및 작업에 대한 B-VLLM의 적용 가능성을 더욱 탐구할 필요가 있습니다.
Reference
[arxiv] B-VLLM: A Vision Large Language Model with Balanced Spatio-Temporal Tokens
Published: (Updated: )
Author: Zhuqiang Lu, Zhenfei Yin, Mengwei He, Zhihui Wang, Zicheng Liu, Zhiyong Wang, Kun Hu
http://arxiv.org/abs/2412.09919v1