획기적인 AI 추론 기술 등장: 토큰 병합 및 가지치기로 7배 효율 증대!
중국 연구진이 개발한 AIM은 토큰 병합 및 가지치기를 통해 다중 모달 LLM의 추론 효율을 최대 7배 향상시켰습니다. 이는 훈련 없이도 다양한 효율성 요구사항을 충족하며, 긴 영상 이해 등에서 성능 향상을 가져왔습니다. GitHub에서 공개된 코드를 통해 전 세계 연구자들이 이 기술을 활용할 수 있습니다.

AI 추론의 혁명: 중국 연구진, 효율성 극대화 기술 선보여
최근 중국 연구진이 발표한 논문 'AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning'이 AI 업계에 큰 반향을 일으키고 있습니다. 중국과학원(CAS)의 Yiwu Zhong, Zhuoming Liu, Yin Li, Liwei Wang 등이 주도한 이 연구는 다중 모달(영상 및 이미지) 거대 언어 모델(LLM)의 추론 효율성을 획기적으로 높이는 새로운 방법을 제시했습니다. 기존의 다중 모달 LLM은 방대한 시각 토큰 처리로 인해 높은 계산 비용이 요구되어, 자원 제약 환경이나 긴 문맥을 처리하는 데 어려움이 있었습니다.
7배 향상된 효율성: 토큰 병합과 가지치기의 마법
연구진은 이 문제를 해결하기 위해 훈련이 필요 없는 적응형 추론 방법, AIM을 제안했습니다. AIM은 두 가지 핵심 기술을 활용합니다. 첫째, 토큰 병합(Token Merging) 입니다. 유사한 임베딩을 가진 토큰들을 반복적으로 병합하여 입력 데이터의 크기를 줄입니다. 둘째, 토큰 가지치기(Token Pruning) 입니다. 다중 모달 중요도를 기반으로 LLM 계층 내에서 불필요한 토큰을 제거합니다. 이 두 기술의 조합으로 연산량을 획기적으로 줄이는 동시에 성능 저하를 최소화할 수 있습니다.
실험 결과는 놀랍습니다. AIM은 다양한 영상 및 이미지 벤치마크에서 연산량을 최대 7배까지 감소시켰습니다(FLOPs 기준). 이는 기존 방식에 비해 압도적인 효율성 향상입니다. 더욱이, 유사한 연산 비용 하에서도 최첨단 방법들을 능가하는 성능을 보였습니다. 특히 긴 영상 이해 작업(MLVU)에서는 성능이 +4.6 향상되었습니다.
미래 AI 연구의 새로운 지평을 열다
연구진은 AIM을 통해 토큰의 중복성과 LLM 계층의 동작에 대한 심층적인 분석 결과도 제시하여, 향후 효율적인 다중 모달 LLM 설계에 대한 귀중한 통찰력을 제공했습니다. 이 연구는 단순한 효율 향상을 넘어, 제한된 자원으로도 고성능 AI 모델을 구현할 수 있는 가능성을 열었습니다. GitHub에서 공개된 코드(https://github.com/LaVi-Lab/AIM)를 통해, 전 세계 연구자들이 이 기술을 활용하여 AI 연구를 더욱 발전시킬 수 있을 것으로 기대됩니다.
이 연구는 효율적인 AI 모델 개발에 대한 새로운 패러다임을 제시하며, 더욱 강력하고 지속 가능한 AI 시스템 개발의 중요한 이정표가 될 것입니다. 앞으로 AIM이 다양한 응용 분야에서 활용되어 AI 기술의 발전에 크게 기여할 것으로 예상됩니다.
Reference
[arxiv] AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning
Published: (Updated: )
Author: Yiwu Zhong, Zhuoming Liu, Yin Li, Liwei Wang
http://arxiv.org/abs/2412.03248v1