AI TREND NOW

#GPU가 필요 없다! 놀라운 속도의 LLM 저비트 양자화 알고리즘, SplitQuantV2

송재우, 린팡전 연구원이 개발한 SplitQuantV2는 GPU 없이도 LLM의 저비트 양자화 성능을 크게 향상시키는 알고리즘입니다. Apple M4 CPU로 10억 파라미터 모델을 2분 6초 만에 처리하며, 기존 고급 알고리즘의 한계를 극복했습니다.

GPU가 필요 없다! 놀라운 속도의 LLM 저비트 양자화 알고리즘, SplitQuantV2

대용량 언어 모델(LLM)의 양자화는 제한된 연산 자원을 가진 기기에서의 배포에 필수적입니다. 기존의 고급 양자화 알고리즘은 기본 선형 양자화보다 성능이 우수하지만, 고성능 GPU가 필요하고 특정 딥러닝 프레임워크에 종속적이며, 보정 데이터셋이 필요하다는 한계가 있었습니다. 이러한 제약은 다양한 모델 형식과 프레임워크를 가진 다양한 NPU(Neural Processing Unit) 및 에지 AI 기기에서 해당 알고리즘을 사용하는 데 어려움을 야기했습니다.

하지만 이제 희소식이 있습니다! 송재우, 린팡전 연구원이 개발한 SplitQuantV2 알고리즘은 이러한 문제점을 해결합니다. SplitQuantV2는 LLM의 저비트 선형 양자화를 향상시키도록 설계된 혁신적인 알고리즘으로, 고급 알고리즘과 비교할 만한 결과를 얻습니다.

SplitQuantV2의 핵심은 선형 및 합성곱 계층을 양자화에 적합한 구조로 분할하는 전처리 과정에 있습니다. GPU가 필요 없을 만큼 플랫폼에 독립적이고 간결하며 효율적인 알고리즘이기 때문에 다양한 환경에서 활용이 용이합니다.

연구팀은 AI2의 추론 과제(ARC) 데이터셋을 사용하여 Llama 3.2 1B Instruct 모델을 평가했습니다. 그 결과, SplitQuantV2는 INT4 양자화 모델의 정확도를 11.76%p 향상시켜 원래의 부동 소수점 모델과 거의 동일한 성능을 달성했습니다. 놀랍게도, Apple M4 CPU만을 사용하여 10억 파라미터 모델의 전처리와 선형 INT4 양자화를 단 2분 6초 만에 완료했습니다!

SplitQuantV2는 특히 하드웨어 제약이나 프레임워크 호환성 문제로 인해 복잡하고 계산 집약적인 알고리즘에 접근할 수 없는 경우에 LLM의 저비트 양자화를 위한 실용적인 해결책을 제공합니다. 이 알고리즘은 LLM의 에지 기기 배포를 가속화하고, 더욱 폭넓은 사용을 가능하게 할 것으로 기대됩니다. 앞으로의 발전이 더욱 기대되는 획기적인 연구 결과입니다!