맘바퀀트(MambaQuant): 맘바 모델 양자화의 새로운 지평을 열다

중국과학기술대학 연구팀이 개발한 MambaQuant는 기존 양자화 기법의 한계를 극복하고 Mamba 모델의 효율성을 획기적으로 향상시킨 혁신적인 사후 훈련 양자화(PTQ) 프레임워크입니다. KLT 강화 회전 및 Smooth-Fused 회전 기법을 통해 정확도 손실을 최소화하면서 8비트 양자화를 달성하여 Mamba 모델의 실용화 가능성을 크게 높였습니다.

최근 딥러닝 분야에서 트랜스포머를 뛰어넘는 효율적인 시퀀스 모델로 주목받고 있는 '맘바(Mamba)' 모델. 중국과학기술대학(USTC)을 중심으로 한 연구팀이 발표한 맘바퀀트(MambaQuant)는 이러한 맘바 모델의 양자화(Quantization) 문제에 대한 혁신적인 해결책을 제시합니다. 양자화는 모델 크기와 연산 속도를 줄이는 필수적인 과정이지만, 기존 방법들은 맘바 모델에 적용하기에는 어려움이 있었습니다. 특히, Quarot과 같은 기존 양자화 방법은 Vim-T$^\dagger$에서 무려 21%의 정확도 감소를 초래했습니다.

그렇다면 맘바퀀트는 어떻게 이 문제를 해결했을까요?

연구팀은 맘바 모델의 고유한 구조적 특징, 즉 게이트 투영, 출력 투영, 행렬 곱셈에서의 심각한 이상치(outliers)와 병렬 스캔(parallel scan)에 의한 불균형 데이터 분포를 주요 원인으로 분석했습니다. 심지어 아다마르 변환(Hadamard transform)을 적용하더라도 가중치와 활성화 함수의 채널 간 분산이 여전히 불일치하는 문제가 존재했습니다.

이러한 문제점들을 해결하기 위해 맘바퀀트는 두 가지 핵심 기술을 도입했습니다.

1. 카루넨-로에브 변환(KLT) 강화 회전: 다양한 채널 분포에 적응 가능한 회전 행렬을 생성하여 채널 간 분산 불균형을 완화합니다. 이는 마치 다양한 지형에 적응하는 자동차의 사륜구동 시스템과 같습니다.
2. 스무스-퓨즈드 회전: 채널 분산을 균일하게 하고 추가적인 매개변수를 모델 가중치에 통합하는 기술입니다. 이는 마치 레고 블럭을 조립하듯이 모델의 구성요소들을 효율적으로 통합하는 것과 같습니다.

결과는 놀랍습니다. 맘바퀀트는 가중치와 활성화 함수를 모두 8비트로 양자화하면서도 맘바 기반의 비전 및 언어 작업에서 1% 미만의 정확도 손실만을 보였습니다. 이는 기존 방법들과 비교했을 때 엄청난 성과입니다.

결론적으로, 맘바퀀트는 맘바 모델 양자화에 대한 최초의 포괄적인 사후 훈련 양자화(PTQ) 프레임워크로서, 경량화된 AI 모델 개발에 새로운 가능성을 제시합니다. 이 연구는 앞으로 더욱 효율적이고 성능 좋은 AI 모델 개발에 중요한 이정표가 될 것입니다. 맘바퀀트의 등장으로 인해 맘바 모델은 더욱 폭넓은 분야에서 활용될 수 있을 것으로 기대됩니다.