RotateKV: 혁신적인 2비트 KV 캐시 양자화로 LLM 추론 효율 극대화

Su Zunhai 등 연구진이 개발한 RotateKV는 2비트 KV 캐시 양자화를 통해 LLM의 추론 속도와 메모리 효율을 획기적으로 향상시킨 기술입니다. 채널 재정렬과 RoPE 기법을 활용한 독창적인 방법으로 기존의 한계를 극복하고, 다양한 벤치마크에서 우수한 성능을 입증했습니다.

RotateKV: 대규모 언어 모델의 효율적인 추론을 위한 획기적인 기술

최근 급증하는 대규모 언어 모델(LLM)의 추론 속도 향상과 메모리 효율 증대는 중요한 과제로 떠오르고 있습니다. 이러한 문제 해결에 있어 Key-Value (KV) 캐시는 과거 계산 결과를 재사용하여 효율성을 높이는 핵심 기술입니다. 하지만, 배치 크기와 컨텍스트 길이가 증가함에 따라 KV 캐시의 크기 또한 비례하여 증가, 메모리 병목 현상을 야기합니다. 따라서 효율적인 KV 캐시 압축 기술이 절실히 필요한 상황입니다.

Su Zunhai 등 연구진이 발표한 RotateKV는 이러한 문제에 대한 혁신적인 해결책을 제시합니다. 기존의 KV 양자화 기법은 고해상도 양자화 또는 상당수의 고비트 너비 캐시 유지를 필요로 하여, 압축률 저하 및 낮은 비트 너비에서의 성능 저하 문제를 안고 있었습니다. RotateKV는 2비트 KV 양자화에 회전 기법을 적용하여 이러한 문제점을 극복합니다.

RotateKV의 핵심 혁신은 다음과 같습니다.

• Outlier-Aware Rotation: 채널 재정렬을 통해 다양한 채널별 이상치 분포에 적응하는 회전을 구현, Walsh-Hadamard 변환(FWHT)의 계산 효율성을 유지합니다.
• Pre-RoPE Grouped-Head Rotation: Rotary Position Embedding (RoPE)의 영향을 완화하고 헤드 간 이상치를 부드럽게 처리합니다.
• Attention-Sink-Aware Quantization: 활성화 함수를 활용하여 어텐션 싱크(Attention Sink)를 정확히 식별하고 보호합니다.

이러한 혁신적인 기법을 통해 RotateKV는 WikiText-2 데이터셋에서 LLaMA-2-13B 모델을 사용하여 2비트 양자화에도 불구하고 0.3 미만의 perplexity (PPL) 저하만을 보였습니다. 또한, GSM8K 데이터셋에서도 1.7% 미만의 성능 저하만을 보이며 강력한 사고 과정(CoT) 추론 및 장문 컨텍스트 처리 능력을 유지했습니다. 이는 기존 방법보다 훨씬 우수한 성능입니다. 더욱이 RotateKV는 최대 3.97배의 피크 메모리 사용량 감소, 5.75배 증가된 배치 크기 지원, 디코딩 단계에서 2.32배의 속도 향상이라는 놀라운 결과를 달성했습니다.

RotateKV는 LLM의 효율적인 추론을 위한 새로운 지평을 열었습니다. 향후 LLM의 발전과 실제 응용에 큰 영향을 미칠 것으로 예상됩니다. 특히, 메모리 제약이 심각한 모바일 및 임베디드 환경에서의 LLM 활용에 획기적인 전기를 마련할 것으로 기대됩니다.