LLaVA-Mini: 하나의 비전 토큰으로 효율성을 극대화한 혁신적인 다중 모달 모델


LLaVA-Mini는 비전 토큰 수를 획기적으로 줄여 효율성을 높인 다중 모달 모델로, 단 하나의 비전 토큰으로도 기존 모델을 능가하는 성능을 보이며, 빠른 응답 속도와 높은 처리량을 제공합니다.

related iamge

최근 GPT-4o와 같은 실시간 대규모 다중 모달 모델(LMM)의 등장으로 효율적인 LMM에 대한 관심이 높아지고 있습니다. 하지만 기존 LMM 프레임워크는 시각 정보를 비전 토큰으로 변환하고, 이를 자연어 모델(LLM)과 통합하는 과정에서 많은 연산량을 필요로 했습니다. 특히, 대규모 매개변수와 많은 수의 비전 토큰은 상당한 계산 부하를 야기했습니다.

기존 연구는 주로 LLM 백본을 더 작은 모델로 대체하는 데 초점을 맞추었지만, 비전 토큰의 수 자체를 줄이는 문제는 간과되었습니다. Zhang 등 (2025) 의 연구는 이러한 한계를 극복하기 위해 LLaVA-Mini를 제시합니다. LLaVA-Mini는 비전 토큰의 수를 최소화하여 효율성을 극대화한 LMM입니다.

LLaVA-Mini의 핵심은 모달 사전 융합(modality pre-fusion) 입니다. 연구팀은 LMM이 비전 토큰을 이해하는 방식을 분석하여 대부분의 비전 토큰이 LLM 백본의 초기 레이어에서 주로 시각 정보를 텍스트 토큰과 융합하는 데 기여한다는 것을 발견했습니다. 따라서, 시각 정보를 미리 텍스트 토큰과 융합함으로써 LLM 백본에 전달되는 비전 토큰의 수를 단 하나로 극도로 줄일 수 있습니다.

놀랍게도, LLaVA-Mini는 단 하나의 비전 토큰만으로도 576개의 비전 토큰을 사용하는 LLaVA-v1.5를 능가하는 성능을 11개의 이미지 기반 및 7개의 비디오 기반 벤치마크에서 보여주었습니다. 더욱이, LLaVA-Mini는 FLOPs를 77% 감소시키고, 40밀리초 이내의 빠른 응답 속도를 제공하며, 24GB 메모리의 GPU 하드웨어에서 10,000개 이상의 비디오 프레임을 처리할 수 있습니다.

LLaVA-Mini는 이미지, 고해상도 이미지, 비디오를 효율적으로 이해하는 통합된 대규모 다중 모달 모델로서, 효율성과 성능을 동시에 향상시킨 획기적인 연구 결과입니다. 이는 LMM의 발전에 중요한 이정표를 세운 것으로 평가되며, 향후 효율적인 LMM 개발에 큰 영향을 미칠 것으로 예상됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

Published:  (Updated: )

Author: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

http://arxiv.org/abs/2501.03895v1