M2R2: 효율적인 Transformer 추론을 위한 멀티레이트 잔차 믹스쳐

M2R2는 잔차 변환의 속도를 고려하여 LLM의 추론 효율을 크게 향상시킨 새로운 프레임워크입니다. 다양한 추론 과제에서 SOTA 성능을 달성하며 최대 2.8배의 속도 향상을 기록했습니다.

혁신적인 AI 추론 가속화: M2R2의 등장

자연어 처리 분야의 획기적인 발전을 이끈 대규모 언어 모델(LLM)은 그 강력한 성능만큼이나 막대한 연산량을 필요로 합니다. 특히, 자동 회귀 생성(auto-regressive generation) 과정에서 모든 토큰에 동일한 잔차 변환을 적용하는 기존 방식은 추론 효율과 생성 정확도 사이에서 최적의 균형을 찾지 못하는 한계를 지니고 있었습니다. Nikhil Bhendawade, Mahyar Najibi, Devang Naik, Irina Belousova가 제시한 M2R2(Mixture of Multi-rate Residuals)는 이러한 문제에 대한 혁신적인 해결책을 제시합니다.

토큰의 '속도'를 고려하다: 기존 방식의 한계 뛰어넘기

기존의 조기 종료(Early Exiting), 스킵 디코딩(Skip Decoding), 깊이 믹스쳐(Mixture-of-Depth) 등은 토큰의 모델 계층 통과 거리에 초점을 맞추어 잔차 변환을 조절했습니다. 하지만 M2R2는 한 단계 더 나아가 **잔차 변환의 '속도'**라는 새로운 개념을 도입합니다. 이는 토큰이 모델 계층을 통과하는 속도, 즉 잔차 변화의 역동성을 고려하여 보다 효율적이고 정확한 추론을 가능하게 합니다. 이는 마치 자동차 경주에서 단순히 거리만 고려하는 것이 아니라 속도와 가속도까지 고려하여 최적의 주행 경로를 찾는 것과 같습니다.

놀라운 성능 향상: 실험 결과

Koala, Self-Instruct, WizardLM, MT-Bench와 같은 다양한 추론 지향 과제에서 M2R2는 기존 최고 성능(SOTA)을 뛰어넘는 결과를 보여주었습니다. 특히 자기 예측 디코딩(self-speculative decoding) 설정에서 MT-Bench 기준 최대 2.8배의 속도 향상을 달성했습니다. 이는 2-모델 예측 디코딩, Medusa, LookAhead 디코딩, DEED 등 기존의 고급 기술들을 능가하는 성과입니다. 뿐만 아니라 믹스쳐 오브 익스퍼츠(MoE) 구조에서는 고대역폭 메모리(HBM)를 활용한 조기 잔차 정렬 및 사전 전문가 로딩을 통해 2.9배의 속도 향상을 달성하여 자원 제약 환경에서도 높은 효율성을 보여주었습니다.

결론: AI 추론의 새로운 지평

M2R2는 잔차 변환의 '속도'라는 새로운 관점을 제시함으로써 LLM의 추론 효율을 획기적으로 개선했습니다. 이러한 성과는 자원 제약적인 환경에서도 강력한 LLM을 활용할 수 있는 가능성을 열어주며, AI 기술의 발전에 중요한 이정표를 세웠다고 평가할 수 있습니다. 앞으로 M2R2를 기반으로 한 다양한 응용 연구가 기대됩니다.