대규모 비전-언어 모델의 효율적인 양자화: MBQ의 등장
Li Shiyao 등 연구진이 발표한 MBQ는 VLMs의 모달리티 간 민감도 차이를 고려하여 양자화 파라미터를 최적화하는 새로운 PTQ 방법입니다. 기존 방법 대비 최대 11.6%의 정확도 향상과 1.4배의 속도 향상을 달성, VLMs의 효율적인 배포에 기여할 것으로 기대됩니다.

최근 비전-언어 모델(VLMs)은 다양한 실제 응용 분야에서 활용되고 있습니다. 하지만 VLMs의 방대한 매개변수 크기는 상당한 메모리 및 연산 오버헤드를 야기하여 배포에 어려움을 초래합니다. 이 문제를 해결하기 위한 효과적인 기술 중 하나가 바로 훈련 후 양자화(PTQ) 입니다.
기존의 PTQ 방법들은 주로 대규모 언어 모델(LLMs)에 초점을 맞춰왔습니다. 하지만, Li Shiyao 등 연구진이 발표한 논문 "MBQ: Modality-Balanced Quantization for Large Vision-Language Models"은 기존 PTQ 방법들이 VLMs의 언어 및 비전 토큰 간의 민감도 차이를 고려하지 않고 있다는 점을 지적합니다. 이는 서로 다른 모달리티의 토큰들을 동일하게 처리함으로써, 민감도가 낮은 모달리티의 영향력이 과대평가되어 상당한 정확도 손실로 이어질 수 있다는 것을 의미합니다.
이러한 문제를 해결하기 위해 연구진은 모달리티 균형 양자화(MBQ) 라는 새로운 방법을 제안했습니다. MBQ는 보정 과정에서 모달리티 간의 민감도 차이를 고려하여 재구성 손실을 최소화함으로써 더 나은 양자화 파라미터를 얻을 수 있도록 설계되었습니다.
실험 결과, MBQ는 7B~70B VLMs에서 기존 최고 성능 기준에 비해 W3 및 W4A8 양자화 하에서 최대 4.4% 및 11.6%의 정확도 향상을 달성했습니다. 뿐만 아니라, 연구진은 W3 GPU 커널을 구현하여 양자화 해제 및 GEMV 연산을 융합하여 RTX 4090에서 LLaVA-onevision-7B의 속도를 1.4배 향상시켰습니다. 코드는 GitHub에서 확인할 수 있습니다.
이 연구는 VLMs의 효율적인 배포를 위한 중요한 발걸음이며, 앞으로 더욱 발전된 양자화 기술 개발에 대한 기대감을 높이고 있습니다. 특히, 모달리티 간의 차이를 고려한 양자화 전략은 향후 다양한 모달리티를 통합하는 대규모 모델의 개발에 큰 영향을 미칠 것으로 예상됩니다. 이는 단순히 효율성 향상을 넘어, 더욱 정확하고 강력한 AI 시스템 구축으로 이어질 수 있는 혁신적인 결과입니다.
Reference
[arxiv] MBQ: Modality-Balanced Quantization for Large Vision-Language Models
Published: (Updated: )
Author: Shiyao Li, Yingchun Hu, Xuefei Ning, Xihui Liu, Ke Hong, Xiaotao Jia, Xiuhong Li, Yaqi Yan, Pei Ran, Guohao Dai, Shengen Yan, Huazhong Yang, Yu Wang
http://arxiv.org/abs/2412.19509v1