OSTQuant: 직교 및 스케일링 변환으로 거대 언어 모델 양자화 개선

본 기사는 Xing Hu 등 연구진이 개발한 OSTQuant에 대한 내용을 다룹니다. OSTQuant는 직교 및 스케일링 변환을 이용하여 거대 언어 모델의 양자화를 개선하는 새로운 방법론으로, 기존 방식의 한계를 극복하고 높은 정확도를 유지하며 모델 경량화에 크게 기여합니다.

거대 언어 모델의 경량화, OSTQuant가 혁신을 가져오다!

최근 거대 언어 모델(LLM)의 크기와 연산량이 기하급수적으로 증가하면서, 모델 경량화 기술에 대한 관심이 그 어느 때보다 높습니다. 그 중에서도 Post-training Quantization (PTQ) 는 모델 크기와 연산 속도를 향상시키는 효과적인 방법으로 떠오르고 있습니다. 하지만, LLM의 데이터 분포가 불균일하고 긴 꼬리를 가진 경우, 양자화 과정에서 정밀도가 떨어지는 문제점이 있습니다. 기존의 방법들은 선형 변환을 통해 이러한 문제를 해결하려 했지만, Xing Hu 등 연구진이 발표한 논문 “OstQuant: Refining Large Language Model Quantization with Orthogonal and Scaling Transformations for Better Distribution Fitting”은 이러한 한계를 뛰어넘는 새로운 해결책을 제시합니다.

OSTQuant: 직교 변환과 스케일링 변환의 조화

OSTQuant는 Quantization Space Utilization Rate (QSUR) 이라는 새로운 지표를 도입하여 변환된 데이터의 양자화 가능성을 효과적으로 평가합니다. 단순히 이상치를 제거하거나 채널 간 차이를 줄이는 기존의 방법과 달리, OSTQuant는 직교 변환(orthogonal transformation) 과 스케일링 변환(scaling transformation) 을 결합한 학습 가능한 변환을 사용하여 전체 양자화 공간에서 가중치와 활성화의 분포를 최적화합니다. 이는 마치, 흩어져 있는 조각들을 정교하게 맞춰 완벽한 그림을 완성하는 것과 같습니다.

KL-Top 손실 함수: 소음 감소와 의미 정보 보존의 조화

또한, OSTQuant는 KL-Top 손실 함수를 제안하여 PTQ에서 제한된 보정 데이터로 인한 노이즈를 줄이고, 제한된 정보 안에서도 풍부한 의미 정보를 유지합니다. 이는 양자화 과정에서 중요한 정보 손실을 최소화하는 데 크게 기여합니다.

놀라운 결과: 99.5%의 정확도 유지 및 성능 격차 32% 감소!

실험 결과, OSTQuant는 다양한 LLM과 벤치마크에서 기존의 방법들을 능가하는 성능을 보였습니다. 특히, W4-only 설정에서는 부동 소수점 정확도의 99.5%를 유지하였으며, 더욱 어려운 W4A4KV4 설정에서는 LLaMA-3-8B 모델에서 최첨단 방법 대비 성능 격차를 32%나 감소시켰습니다. 이러한 결과는 OSTQuant의 우수성을 명확히 보여줍니다.

GitHub 저장소 공개: 누구나 활용 가능!

연구진은 OSTQuant의 코드를 GitHub (https://github.com/BrotherHappy/OSTQuant)에 공개하여, 누구든지 쉽게 접근하고 활용할 수 있도록 하였습니다. 이는 AI 기술 발전에 크게 기여할 것으로 기대됩니다.

결론적으로, OSTQuant는 LLM 양자화 분야에 획기적인 발전을 가져온 연구로 평가되며, 앞으로 더욱 발전된 LLM 응용 및 효율적인 모델 경량화 기술 개발에 중요한 역할을 할 것으로 예상됩니다.