3진수 LLM의 에지 추론 혁신: 마이크로소프트의 Bitnet.cpp

마이크로소프트 연구진이 개발한 Bitnet.cpp는 3진수 LLM의 에지 추론 속도를 획기적으로 향상시킨 시스템입니다. Ternary Lookup Table과 Int2 with a Scale 기술을 통해 기존 모델보다 최대 6.25배 빠른 속도를 달성했으며, GitHub에서 공개되어 널리 활용될 것으로 예상됩니다.

최근 1비트 대규모 언어 모델(LLM)의 등장으로 3진수 LLM에 대한 관심이 높아지고 있습니다. 하지만, 3진수 LLM의 효율적인 에지 추론에 대한 연구는 아직 부족한 실정입니다. 이러한 격차를 해소하기 위해 마이크로소프트 연구진(Jinheng Wang 외)은 BitNet b1.58 및 3진수 LLM에 최적화된 추론 시스템인 Bitnet.cpp를 개발했습니다.

Bitnet.cpp의 핵심은 3진수 LLM 추론 시간의 대부분을 차지하는 혼합 정밀도 행렬 곱셈(mpGEMM)의 최적화에 있습니다. Bitnet.cpp는 새로운 mpGEMM 라이브러리를 통합하여 가중치당 2비트 미만의 효율적이고 손실 없는 추론을 가능하게 합니다. 이 라이브러리는 두 가지 핵심 솔루션을 제공합니다.

• Ternary Lookup Table (TL): 기존의 비트 단위 방법의 공간적 비효율성을 해결합니다.
• Int2 with a Scale (I2_S): 손실 없는 에지 추론을 보장합니다.

이 두 기술을 통해 Bitnet.cpp는 놀라운 속도 향상을 달성했습니다. 실험 결과, Bitnet.cpp는 기존의 완전 정밀도 기반 모델보다 최대 6.25배, 저비트 기반 모델보다 최대 2.32배 빠른 속도를 기록했습니다. 이는 3진수 LLM 분야의 새로운 기준을 제시하는 성과입니다.

또한, 연구진은 부록에서 저비트 LLM을 위한 TL을 요소별 조회 테이블(ELUT)로 확장하여 그 잠재력을 보여주었습니다.

Bitnet.cpp는 GitHub에서 공개적으로 이용 가능합니다. 마이크로소프트의 Bitnet.cpp는 에지 LLM의 효율적이고 실용적인 배포를 위한 정교한 솔루션을 제공하며, 앞으로 3진수 LLM의 발전과 실제 응용에 중요한 역할을 할 것으로 기대됩니다. 이 연구는 에지 환경에서의 AI 성능 향상에 기여하는 중요한 발걸음으로 평가됩니다.