대규모 언어 모델의 효율적인 양자화를 위한 혁신적인 접근법: Post-quantization Integral과 ReQuant

중국과학기술대학 연구팀이 기존 LLM 양자화의 부정확성 문제를 해결하기 위해 Post-quantization Integral(PQI)과 ReQuant 프레임워크를 제안, Llama 3.2 1B 모델에서 2.66 perplexity 향상이라는 성과를 거두었습니다. 이는 LLM의 효율적인 서빙을 위한 중요한 진전입니다.

대규모 언어 모델(LLM)의 효율적인 양자화: 정확도를 높이는 새로운 방법

대규모 언어 모델(LLM)의 서빙에는 막대한 비용이 소요됩니다. 하지만 후처리 가중치 양자화는 모델 크기 압축과 대역폭 절약을 통해 이 문제를 해결할 수 있는 유망한 기술입니다. 모든 가중치 차원이 동일하게 중요한 것은 아니기 때문에, 기존의 양자화 방법들은 가중치의 손실 함수에 대한 영향을 나타내는 감도 지표에 의존하여 원래 가중치를 전처리합니다.

중국과학기술대학 연구팀(Yuezhou Hu 외) 의 최신 연구는 기존의 기울기 및 헤시안 기반 감도 지표의 정확성에 대한 의문을 제기합니다. 연구팀은 이러한 지표들이 테일러 공식에서의 국소 2차 근사의 작은 수렴 반경으로 인해 손실 함수에 대한 양자화의 영향을 과소평가한다는 것을 실험적으로 밝혀냈습니다. 즉, 기존 방법들은 양자화의 실제 영향을 정확하게 반영하지 못한다는 것입니다.

이 문제를 해결하기 위해 연구팀은 Post-quantization Integral (PQI) 이라는 새로운 감도 지표를 제안했습니다. PQI는 미세한 수준에서 후방 감도를 정확하게 추정할 수 있는 혁신적인 방법입니다. 연구팀은 이 정확한 지표를 활용하여 ReQuant이라는 간단하면서도 강력한 양자화 프레임워크를 개발했습니다. ReQuant는 자가 적응적 이상치 선택과 단계적 중요 가중치 분리라는 두 가지 핵심 구성 요소로 이루어져 있습니다.

연구 결과, ReQuant는 최첨단 후처리 양자화 방법을 개선하여 Llama 3.2 1B 모델에서 QTIP을 사용할 때 2.66 perplexity 향상이라는 괄목할 만한 성과를 달성했습니다. 이는 PQI와 ReQuant가 LLM의 효율적인 양자화를 위한 새로운 가능성을 열었다는 것을 시사합니다. 이 연구는 LLM의 실용적인 적용을 위한 중요한 발걸음이 될 것으로 기대됩니다. 향후 연구에서는 PQI와 ReQuant의 다양한 LLM 및 양자화 기법에 대한 적용 가능성을 더욱 탐구할 필요가 있습니다.