혁신적인 AI 양자화 기술: 회전, 자르기, 분할(RCP) 기법으로 초경량 LLM 구현

최은태, 송수민, 임우상, 유성주 연구원 팀이 개발한 RCP(회전, 자르기, 분할) 기법은 회전 기법과 학습 가능한 비균일 양자화기를 결합하여 LLM을 W2A4KV4로 극한 압축하는 데 성공했습니다. LLaMA-2, LLaMA-3.2 등 다양한 모델에 적용 가능하며, 메모리 사용량 감소와 성능 저하 최소화를 동시에 달성했습니다.

최근 AI 분야에서 초거대 언어 모델(LLM)의 압축은 핵심적인 과제로 떠오르고 있습니다. 메모리 사용량을 줄이면서 성능 저하를 최소화하는 기술이 절실한 상황이죠. 최은태, 송수민, 임우상, 유성주 연구원 팀은 이러한 문제 해결을 위해 '회전, 자르기, 분할(Rotate, Clip, and Partition, RCP)'이라는 획기적인 양자화 기법을 개발했습니다.

RCP는 W2A4KV4(2-bit weight, 4-bit activation, 4-bit KV cache)라는 극한의 압축 환경을 구현합니다. 기존의 방법들과 차별화되는 점은 바로 회전 기법과 학습 가능한 비균일 가중치 양자화기의 통합입니다. 연구팀은 2-bit 가중치 양자화에 대한 무작위 회전의 영향을 정량적으로 분석하여 이러한 독창적인 접근 방식을 제시했습니다.

특히, 학습 가능한 직접 분할(Learnable Direct Partitioning, LDP) 은 모델의 가중치와 함께 비균일 구간을 직접 학습하는 매개변수를 도입하여 기존의 양자화 방식의 한계를 뛰어넘습니다. 더 나아가, 연구팀은 비균일 W2A4에 대한 GEMV 연산을 지원하는 특수한 GPU 커널을 개발하여 성능 향상을 도모했습니다.

실험 결과는 놀랍습니다. RCP를 사용하여 LLaMA-2-7B 모델을 W2A4KV4로 압축했을 때, WikiText2 퍼플렉서티(ppl)는 단 2.84만큼만 증가했고, 메모리 사용량은 무려 5.29배나 감소했습니다. 뿐만 아니라, 모바일 환경에 적합한 LLaMA-3.2 모델과 도메인 특화 모델인 WizardCoder-7B, MetaMath-7B에도 적용하여 수렴 실패나 반복 등의 문제 없이 성공적으로 양자화했습니다. 이는 RCP의 뛰어난 일반화 성능을 보여줍니다.

RCP는 단순한 양자화 기술을 넘어, LLM 압축 분야에 새로운 가능성을 제시하는 획기적인 연구입니다. 공개 예정인 코드를 통해 더 많은 연구자들이 이 기술을 활용하고 발전시킬 수 있기를 기대합니다. 앞으로 RCP 기반의 더욱 발전된 LLM 압축 기술이 등장할 것을 기대하며, 이 연구가 AI 기술 발전에 크게 기여할 것으로 예상됩니다.