MambaQuant: Mamba 모델 양자화의 새로운 지평을 열다

MambaQuant는 Mamba 모델의 고유한 특성을 고려한 새로운 양자화 프레임워크로, 8비트 양자화에서 1% 미만의 정확도 손실만을 보이며 모델 경량화 및 속도 향상에 크게 기여합니다. KLT 강화 회전과 Smooth-Fused 회전 기법을 통해 채널 간 분산 불균형 문제를 해결하여 Mamba 모델의 효율성을 극대화합니다.

최근 뛰어난 성능으로 주목받고 있는 Mamba 모델. 그러나 Mamba 모델의 효율성을 극대화하기 위한 양자화 연구는 아직 미흡한 실정입니다. 기존 CNN이나 Transformer 모델에 효과적이었던 양자화 방법들은 Mamba 모델에는 적용하기 어려운 한계를 가지고 있었죠. 중국 과학자 팀(Xu Zukang 외)이 발표한 논문 “MambaQuant: Quantizing the Mamba Family with Variance Aligned Rotation Methods”는 이러한 문제에 대한 해결책을 제시합니다.

Mamba 모델 양자화의 어려움: 거대한 도전

연구팀은 Mamba 모델 양자화 과정에서 세 가지 주요 어려움을 발견했습니다.

1. 극단값의 존재: 게이트 투영, 출력 투영, 행렬 곱셈 등에서 상당한 극단값이 나타납니다.
2. 병렬 스캔의 영향: Mamba 모델의 고유한 병렬 스캔 구조는 이러한 극단값을 더욱 증폭시켜 데이터 분포를 불균형하게 만듭니다.
3. 채널 간 분산 불일치: Hadamard 변환을 적용하더라도 가중치와 활성화 값의 채널 간 분산은 여전히 일관되지 않습니다.

MambaQuant: 혁신적인 해결책

이러한 문제를 해결하기 위해 연구팀은 MambaQuant라는 새로운 사후 훈련 양자화(PTQ) 프레임워크를 제안했습니다. MambaQuant는 다음 두 가지 핵심 기술을 기반으로 합니다.

1. KLT (Karhunen-Loeve Transformation) 강화 회전: 다양한 채널 분포에 적응할 수 있는 회전 행렬을 생성합니다.
2. Smooth-Fused 회전: 채널 간 분산을 균일하게 하고 추가 매개변수를 모델 가중치에 통합할 수 있습니다.

놀라운 결과: 1% 미만의 정확도 손실

실험 결과, MambaQuant는 비전 및 언어 작업 모두에서 가중치와 활성화 값을 8비트로 양자화하면서 1% 미만의 정확도 손실만을 보였습니다. 이는 기존 방법들과 비교했을 때 괄목할 만한 성과입니다. (예를 들어, Quarot은 Vim-T$^\dagger$에서 21%의 정확도 감소를 보였습니다.)

미래를 향한 발걸음

MambaQuant는 Mamba 모델 양자화 분야의 새로운 이정표를 세웠습니다. 이 연구는 Mamba 모델의 효율성을 극대화하고 다양한 응용 분야에서의 활용 가능성을 더욱 확장하는 데 기여할 것으로 기대됩니다. 앞으로 MambaQuant를 기반으로 더욱 발전된 양자화 기술이 개발될 가능성이 열려 있습니다. 이를 통해 더욱 작고 빠르면서도 정확한 AI 모델을 구축하는 꿈에 한 발 더 다가갈 수 있을 것입니다.