규모와 아키텍처에 상관없이 작동하는 AI 모델 양자화의 혁신: 층별 엔트로피 가중 양자화

본 연구는 모델 아키텍처 및 크기에 관계없이 적용 가능한 혁신적인 층별 엔트로피 가중 양자화(EWQ) 기법을 제시합니다. EWQ는 메모리 사용량 감소 및 성능 향상을 동시에 달성하며, FastEWQ를 통해 빠른 엔트로피 분석도 가능하게 합니다. 이는 대규모 언어 모델의 효율적인 배포에 새로운 가능성을 제시합니다.

최근 Alireza Behtash를 비롯한 7명의 연구원이 발표한 논문 "Universality of Layer-Level Entropy-Weighted Quantization Beyond Model Architecture and Size"는 대규모 언어 모델(LLM)의 효율적인 양자화에 대한 새로운 지평을 열었습니다. 기존의 아키텍처 특정적이고 크기 의존적인 압축 방식의 한계를 뛰어넘는 층별 엔트로피 가중 양자화(EWQ) 기법이 소개되었기 때문입니다.

엔트로피 분포 분석을 통한 스마트 양자화

이 연구의 핵심은 트랜스포머 블록 간의 엔트로피 분포를 분석하여 어떤 블록을 양자화해도 성능 저하 없이 안전하게 양자화할 수 있는지를 판단하는 것입니다. 이는 모델의 아키텍처나 크기에 상관없이 적용 가능하다는 점에서 획기적입니다. EWQ는 균일 양자화 방식보다 뛰어난 성능을 보이며, 메모리 사용량을 최대 18%까지 줄이면서도 MMLU(Massive Multitask Language Understanding) 정확도 점수를 비양자화 모델 대비 0.5% 이내로 유지합니다. 16억 개에서 700억 개 매개변수에 이르는 다양한 아키텍처에서 일관된 성능 향상을 보였습니다.

놀라운 부수적 효과: 정규화 효과

더욱 놀라운 것은 EWQ가 비양자화 모델보다 퍼플렉서티(perplexity)를 낮춘다는 점입니다. 선택적 정밀도 감소를 통한 유익한 정규화 효과가 존재함을 시사하는 결과입니다. 이러한 향상은 다양한 모델 계열에서 나타나 층별 엔트로피와 최적의 정밀도 요구 사항 간의 근본적인 관계를 보여줍니다.

속도 향상을 위한 FastEWQ

연구팀은 또한 모델 가중치 로딩 없이도 엔트로피 분포 분석을 빠르게 수행하는 FastEWQ라는 방법을 제시했습니다. 다양한 아키텍처와 규모에서 지속되는 엔트로피 분포의 보편적인 특성을 활용하여 거의 즉각적인 양자화 결정을 내릴 수 있습니다. FastEWQ는 완전한 엔트로피 분석을 사용한 분류 정확도의 80%를 유지합니다.

결론: 새로운 LLM 배포의 가능성

이 연구는 특정 아키텍처 선택이나 모델 크기에 관계없이 효과적인 양자화 전략을 개발할 수 있음을 보여줍니다. 이는 LLM의 효율적인 배포를 위한 새로운 가능성을 제시하며, AI 기술 발전에 중요한 기여를 할 것으로 예상됩니다. 향후 연구에서는 EWQ의 다양한 모델 및 작업에 대한 적용성을 더욱 확장하고, FastEWQ의 정확도를 더욱 높이는 연구가 기대됩니다.