FrameFusion: 대규모 시각 언어 모델의 비디오 토큰 감소를 위한 혁신적인 방법

칭화대 연구팀이 개발한 FrameFusion은 유사도와 중요도를 결합한 새로운 토큰 감소 기법으로, 대규모 시각 언어 모델의 비디오 처리 속도를 획기적으로 향상시키면서 성능 저하는 최소화하는 혁신적인 기술입니다.

FrameFusion: 비디오 처리의 혁명을 가져올 새로운 토큰 감소 기법

고해상도 장시간 비디오의 증가하는 처리 수요는 막대한 시각 토큰으로 인해 대규모 시각 언어 모델(LVLMs)에 상당한 부담을 줍니다. 기존의 토큰 감소 방법은 주로 중요도 기반 토큰 제거에 초점을 맞춰 프레임 유사성 및 반복적인 시각 요소로 인한 중복성을 간과했습니다. 하지만 중국 칭화대학교 연구팀(Fu Tianyu 외)이 발표한 FrameFusion은 이러한 문제를 해결하기 위한 획기적인 해결책을 제시합니다.

유사성과 중요성의 조화: FrameFusion의 핵심

FrameFusion은 LVLMs에서 높은 시각 토큰 유사성을 분석하여 깊은 레이어에서 토큰 유사성 분포가 압축되면서 순위 일관성을 유지한다는 사실을 밝혔습니다. 이러한 유사성의 고유한 특성을 활용하여, FrameFusion은 유사도 기반 병합과 중요도 기반 제거를 결합한 새로운 접근 방식을 도입했습니다. 즉, 중요도만 고려하는 기존 방식과 달리, 유사한 토큰들을 먼저 병합한 후 제거함으로써 더욱 효과적인 토큰 감소를 달성합니다. 이는 토큰 감소에 대한 새로운 관점을 제시하는 혁신적인 시도입니다.

놀라운 성능 향상: 실험 결과

연구팀은 Llava-Video-{7B, 32B, 72B} 및 MiniCPM-V-8B를 포함한 다양한 LVLMs에서 비디오 이해, 질문 응답, 검색 벤치마크를 사용하여 FrameFusion을 평가했습니다. 그 결과, FrameFusion은 시각 토큰을 70%까지 줄이면서 LLM 속도를 3.44.4배, 종단 간 속도를 1.61.9배 향상시키는 놀라운 성능을 보였습니다. 동시에 성능 저하는 평균 3% 미만으로 유지되어 효율성과 정확성을 동시에 확보했습니다. 코드는 https://github.com/thu-nics/FrameFusion 에서 확인할 수 있습니다.

미래를 향한 전망

FrameFusion은 대규모 비디오 데이터 처리 분야에 중요한 발전을 가져왔습니다. 향후 이 기술은 자율주행, 스마트 시티, 의료 영상 분석 등 다양한 분야에서 활용되어 혁신을 이끌어낼 것으로 기대됩니다. 특히, 실시간 비디오 처리가 필수적인 분야에서 FrameFusion의 효율성은 더욱 큰 가치를 가질 것입니다. 하지만 앞으로 더욱 다양한 LVLMs과 벤치마크에 대한 추가 연구가 필요하며, 실제 응용 분야에서의 성능 검증을 통해 FrameFusion의 실용성을 더욱 높여야 할 것입니다.