매트료시카 양자화: 하나의 모델로 다양한 정밀도를! 놀라운 AI 성능 향상의 비밀

Google 연구진이 개발한 Matryoshka Quantization(MatQuant)은 단일 모델을 다양한 정밀도 수준에서 사용할 수 있도록 하는 혁신적인 양자화 기술입니다. 기존의 int2 양자화보다 정확도를 최대 10% 향상시키는 놀라운 성능을 보이며, AI 모델의 효율성과 성능을 동시에 향상시키는 잠재력을 가지고 있습니다.

대규모 모델의 통신 및 추론 비용을 줄이기 위해 모델 가중치의 양자화는 필수적입니다. 하지만 int4 또는 int2와 같은 저정밀도로 모델을 양자화하면 모델의 품질 저하라는 큰 딜레마에 직면합니다. 특히 int2는 모델 품질을 심각하게 저하시키는 것으로 알려져 있습니다. 이 때문에 연구자들은 종종 서로 다른 양자화 수준을 가진 여러 모델을 유지하거나 품질과 지연 시간 간의 절충안을 가장 잘 충족하는 단일 모델을 사용해야 하는 어려움에 직면했습니다.

하지만 이제 희망이 있습니다! Google 연구진 Pranav Nair, Puranjay Datta, Jeff Dean, Prateek Jain, Aditya Kusupati가 발표한 논문 "Matryoshka Quantization" 에서 혁신적인 솔루션을 제시합니다. 바로 매트료시카 양자화(MatQuant) 입니다! 🪆

MatQuant는 여러 개의 양자화된 모델이 필요한 기존의 문제를 해결하는 새로운 다중 스케일 양자화 기술입니다. int4나 int2와 같은 작은 비트 너비 정수가 가장 중요한 비트 내에 중첩되는 int8과 같은 정수 데이터 유형의 중첩 구조(매트료시카 구조)를 활용합니다. 즉, 단 하나의 모델만 훈련하고 유지 관리하여 다양한 정밀도 수준에서 서비스할 수 있게 해줍니다.

더 놀라운 점은 MatQuant가 제공하는 공동 훈련 및 공동 증류 정규화 덕분에, 추출된 int2 정밀도 모델의 정확도가 기존의 int2 양자화(QAT 또는 OmniQuant와 같은 기술 사용)보다 최대 10% 더 높아질 수 있다는 점입니다! 이는 모델 양자화 분야에서 획기적인 발전입니다.

실제로 Gemma-2 9B 모델에 int2 FFN 양자화를 적용한 결과, 같은 방법으로 int8 FFN 양자화된 Gemma-2 2B 모델보다 더 높은 정확도를 달성했습니다. 이는 저정밀도 양자화를 통해서도 고정밀도 모델에 필적하는 성능을 얻을 수 있음을 시사하는 놀라운 결과입니다.

MatQuant는 대규모 모델의 효율성과 성능을 동시에 향상시키는 혁신적인 기술로, 앞으로 AI 모델 개발의 새로운 지평을 열 것으로 기대됩니다. 단일 모델로 다양한 정밀도를 지원하는 MatQuant의 등장은 AI의 발전에 있어 중요한 이정표가 될 것입니다.