혁신적인 AI 추론 가속화: Speculative Decoding과 Quantization의 만남

중국과학원 자동화연구소 연구팀의 연구는 Speculative decoding과 Quantization의 통합을 시도하며, 4비트 가중치 양자화 모델에서 발생하는 계산 비용 증가 문제를 계층적 프레임워크를 통해 해결하여 LLM 추론 속도를 최대 2.78배 향상시켰습니다.

최근 AI 분야에서 대규모 언어 모델(LLM)의 성능 향상은 눈부시지만, 메모리 제약으로 인한 추론 속도 저하는 여전히 큰 과제입니다. 이 문제를 해결하기 위해, 중국과학원 자동화연구소 연구팀(Yudi Zhang 외)은 획기적인 연구 결과를 발표했습니다. 논문 "Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design" 에서는 Speculative decoding과 Quantization이라는 두 가지 기법의 통합을 시도하고, 그 과정에서 예상치 못한 결과와 이를 극복하는 혁신적인 해결책을 제시합니다.

Speculative decoding은 여러 토큰을 동시에 검증하여 메모리 대역폭 병목 현상을 완화하는 기법입니다. 반면 Quantization은 가중치와 활성화 값을 더 낮은 비트 수로 압축하여 메모리 사용량과 계산량을 줄입니다. 두 기법을 결합하면 시너지 효과를 기대할 수 있지만, 연구팀은 놀랍게도 4비트 가중치 양자화 모델에 고급 Speculative decoding 기법인 EAGLE-2를 적용했을 때 메모리 이점이 계산 비용 증가로 상쇄되는 현상을 발견했습니다. 특히, 트리 형태의 후보 토큰 검증은 단일 토큰 전달보다 훨씬 많은 시간 오버헤드를 발생시켰습니다.

이러한 문제점을 해결하기 위해 연구팀은 새로운 계층적 프레임워크를 제안했습니다. 이 프레임워크는 작은 모델을 중간 단계로 활용하여 트리 형태의 후보 토큰을 시퀀스 형태로 변환하고, 목표 양자화 모델의 메모리 접근 이점을 활용합니다. 실험 결과, 이 계층적 접근 방식은 A100 GPU에서 4비트 가중치 Llama-3-70B 모델을 사용하여 다양한 작업에서 최대 2.78배의 속도 향상을 달성했으며, 기존 EAGLE-2보다 1.31배 우수한 성능을 보였습니다. 이는 메모리 효율성과 계산 효율성을 동시에 달성한 쾌거입니다.

이 연구는 단순히 두 기법의 결합이 아닌, 각 기법의 장단점을 면밀히 분석하고 이를 바탕으로 새로운 아키텍처를 설계한 탁월한 사례입니다. 특히, 4비트 양자화 모델에서 Speculative decoding의 한계를 밝히고 이를 극복하기 위한 창의적인 해결책을 제시한 점이 높이 평가됩니다. 연구팀은 관련 코드를 GitHub(https://github.com/AI9Stars/SpecMQuant)에 공개하여 다른 연구자들의 활용을 지원하고 있습니다. 향후 이 연구는 LLM의 추론 효율을 획기적으로 높이는 데 기여할 것으로 기대됩니다.