혁신적인 AI 양자화 기술: 1.61비트의 경계를 넘어서다!

자오 지아치 등 8명의 연구원이 개발한 PTQ1.61은 1.61비트의 초저비트 양자화를 달성하여 대규모 언어 모델의 성능 저하 없이 에너지 효율 및 확장성을 크게 향상시켰습니다. 양자화 전처리라는 새로운 패러다임을 제시하고, 1차원 구조화 마스크와 블록 단위 스케일링 최적화를 통해 효율성을 극대화했습니다.

1.61비트의 경이: 대규모 언어 모델의 양자화 한계를 뛰어넘다

최근, 자오 지아치(Jiaqi Zhao)를 비롯한 8명의 연구원이 발표한 논문 "PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models"는 AI 분야에 혁신적인 돌파구를 제시합니다. 대규모 언어 모델(LLM)의 성능 저하 없이 초저비트(2비트 미만) 양자화를 달성한 PTQ1.61 방법론이 바로 그것입니다.

기존 방식의 한계와 PTQ1.61의 혁신

기존의 초저비트 양자화 방법들은 혼합 정밀도 방식을 사용하여 중요한 가중치를 구분하는 비구조적인 세분화 마스크를 활용했습니다. 하지만 이는 가중치당 1비트 이상의 추가 비용을 발생시키는 문제점을 가지고 있었습니다.

PTQ1.61은 이러한 한계를 극복하고 가중치를 1.61비트로 양자화하는 데 성공했습니다. 가중치당 0.0002비트의 미미한 추가 비용만으로 1차원 구조화 마스크를 통해 입력 활성화 값을 기반으로 중요 가중치 채널을 4비트로, 비중요 채널을 이진화(binarization)하는 전략을 사용했습니다. 특히, 블록 단위 스케일링 계수 최적화 프레임워크를 통해 행 간 상관관계와 각도 편향을 고려하여 효율성을 높였습니다.

새로운 패러다임: 양자화 전처리

단순히 양자화 방법론을 조정하는 기존 방식과 달리, PTQ1.61은 '양자화 전처리(Quantization Preprocessing)'라는 혁신적인 패러다임을 제시합니다. 이는 양자화 전에 사전 훈련된 모델의 가중치 분포를 변환하여 초저비트 PTQ의 어려움을 완화하는 접근 방식입니다.

놀라운 성능과 미래 전망

광범위한 실험 결과, PTQ1.61은 초저비트 양자화에서 최첨단 성능을 달성했습니다. GitHub(https://github.com/zjq0455/PTQ1.61)에서 코드를 공개하여, AI 커뮤니티의 발전에 기여하고 있습니다. PTQ1.61은 LLM의 에너지 효율과 확장성을 크게 향상시킬 뿐만 아니라, 모바일 및 임베디드 시스템에서의 AI 활용을 가속화할 잠재력을 가지고 있습니다. 이 연구는 초저비트 양자화의 한계를 뛰어넘는 중요한 이정표가 될 것입니다.