훈련 없이 시각 토큰 가지치기로 VLM 추론 속도 획기적으로 향상시킨 FasterVLM
Qizhe Zhang 등 연구진이 개발한 FasterVLM은 [CLS] 토큰 기반의 시각 토큰 가지치기 방법으로, 기존 VLM의 추론 속도를 획기적으로 향상시켰습니다. 훈련이 필요 없이 다양한 VLM 아키텍처에서 뛰어난 성능을 보이며, 95%의 시각 토큰 제거에도 90%의 성능을 유지하는 놀라운 결과를 달성했습니다.

대규모 비전-언어 모델(VLM)의 추론 속도를 획기적으로 향상시키는 혁신적인 방법이 등장했습니다. Qizhe Zhang 등 연구진이 발표한 FasterVLM은 기존 방법들의 한계를 극복하고, 훈련 없이도 놀라운 성능 향상을 달성했습니다.
기존의 VLM들은 대규모 언어 모델(LLM)과 상호 작용할 때 방대한 시각 토큰을 사용하여 비효율적이었습니다. 이를 해결하기 위해 시각 토큰을 가지치는(pruning) 연구가 활발히 진행되었지만, 대부분의 기존 방법은 LLM 내의 텍스트-시각 교차 어텐션(cross-attentions)에 의존하여 토큰의 중요도를 평가했습니다. 문제는 이러한 교차 어텐션이 부정확하다는 점입니다. 결과적으로, 높은 감축 비율에서는 성능 저하가 심각하게 나타났습니다.
FasterVLM은 이러한 문제점을 정확하게 파악하고, 시각 인코더로부터 얻은 [CLS] 토큰과 이미지 토큰 간의 어텐션을 활용하여 시각 토큰의 중요도를 더욱 정확하게 평가하는 방법을 제시합니다. [CLS] 토큰은 문장의 전체적인 의미를 담고 있기 때문에, 이를 기반으로 시각 토큰의 중요도를 판단하면 훨씬 정확한 결과를 얻을 수 있습니다. 또한, FasterVLM은 시각 인코더 직후에 불필요한 시각 토큰을 제거하여 LLM과의 상호 작용을 최소화함으로써 추론 속도를 더욱 향상시킵니다.
그 결과는 놀랍습니다. FasterVLM은 LLaVA-1.5-7B에서 시각 토큰의 95%를 제거하면서도 성능의 90%를 유지했습니다. 이는 기존의 텍스트-시각 어텐션 기반 방법들을 압도적으로 능가하는 성능입니다. 더욱이, LLaVA-1.5, LLaVA-NeXT, Video-LLaVA 등 다양한 VLM 아키텍처에서도 효과적으로 작동하며, 다양한 감축 비율에서도 뛰어난 성능을 유지합니다. 연구진은 GitHub (https://github.com/Theia-4869/FasterVLM)에 코드를 공개하여 누구나 활용할 수 있도록 했습니다.
FasterVLM은 단순하면서도 강력한 방법으로, VLM의 추론 속도 향상에 큰 기여를 할 것으로 기대됩니다. 이는 향후 VLM 기반 애플리케이션의 효율성과 사용성을 크게 높이는 데 중요한 전환점이 될 것입니다. 이 연구는 VLM 분야의 꾸준한 발전과 함께, 더욱 빠르고 효율적인 AI 시스템 구축에 대한 가능성을 보여주는 중요한 사례입니다.
Reference
[arxiv] [CLS] Attention is All You Need for Training-Free Visual Token Pruning: Make VLM Inference Faster
Published: (Updated: )
Author: Qizhe Zhang, Aosong Cheng, Ming Lu, Zhiyong Zhuo, Minqi Wang, Jiajun Cao, Shaobo Guo, Qi She, Shanghang Zhang
http://arxiv.org/abs/2412.01818v1