매트료시카처럼! AI 모델의 놀라운 다중 정밀도 양자화 기술, MatQuant 소개

구글 연구팀이 개발한 MatQuant는 매트료시카 인형처럼 중첩된 정수 데이터 구조를 활용하여 단일 모델로 다양한 정밀도를 제공하는 혁신적인 양자화 기술입니다. 기존 int2 양자화보다 최대 7% 향상된 성능을 보이며, 아웃라이어 처리를 위한 추가 비트 활용으로 더욱 높은 성능을 달성합니다.

대규모 AI 모델의 통신 및 추론 비용을 줄이기 위해 모델 가중치 양자화는 필수적입니다. 하지만 특히 int4 또는 int2와 같은 낮은 정밀도로 모델을 양자화하면 모델 품질 저하라는 문제에 직면하게 됩니다. int2는 특히 모델 품질을 심각하게 저하시키는 것으로 알려져 있습니다. 때문에 연구자들은 종종 서로 다른 양자화 수준을 가진 여러 모델을 유지하거나, 품질과 지연 시간 사이의 절충안을 가장 잘 만족하는 단일 모델을 사용해야만 했습니다.

하지만 구글의 Pranav Nair, Puranjay Datta, Jeff Dean, Prateek Jain, Aditya Kusupati 연구팀이 새로운 해결책을 제시했습니다. 바로 매트료시카 양자화(Matryoshka Quantization, MatQuant) 입니다! int8과 같은 정수 데이터 유형은 int4 또는 int2와 같은 더 작은 비트 너비 정수가 상위 비트 내에 중첩된, '매트료시카' 인형처럼 중첩된 구조를 가지고 있다는 점에 착안한 것입니다.

MatQuant는 이러한 통찰력을 활용하여 다중 스케일 양자화 기술을 제안합니다. 이 기술을 통해 단일 양자화 모델을 훈련하고 유지 관리하면서도 배포 환경의 요구 사항에 맞는 정밀도로 모델을 제공할 수 있습니다. 게다가 MatQuant의 공동 훈련 및 공동 증류 규제를 활용하면, MatQuant로 추출한 int2 정밀도 모델은 OmniQuant 및 QAT를 기반 알고리즘으로 사용했을 때 기존 int2 양자화보다 최대 4% 및 7%까지 성능이 향상됩니다!

더 나아가, 아웃라이어(outlier)를 나타내는 추가 비트를 사용하면 유효 정밀도가 2.05비트인 모델에서 OmniQuant를 기반 알고리즘으로 사용했을 때 추가적으로 6%의 성능 향상을 얻을 수 있습니다. 이것은 마치 매트료시카 인형처럼, 작은 인형 속에 또 다른 인형이 들어있는 것처럼, 작은 비트 안에 더 많은 정보를 담아 성능을 높인 셈입니다.

MatQuant는 AI 모델의 효율성과 성능을 동시에 향상시키는 혁신적인 기술로, 앞으로 AI 모델의 개발 및 배포 방식에 큰 변화를 가져올 것으로 기대됩니다. 단일 모델로 다양한 요구사항을 충족하는 이 기술은 AI의 실용성과 접근성을 한 단계 더 높이는 쾌거라고 할 수 있습니다.