좁은 정밀도 LLM 추론에서 BFP의 한계를 뛰어넘다: DB-Attn 프레임워크

Wang Hui 등 연구진의 논문은 LLM 추론의 성능 병목 현상을 해결하기 위해 하드웨어-소프트웨어 협업 설계 프레임워크 DB-Attn을 제시했습니다. DBFP와 DH-LUT을 활용하여 LLaMA의 Softmax 연산에서 GPU 속도를 74% 향상시키고 기존 최고 성능 대비 10배의 오버헤드 개선을 달성했습니다.

대규모 언어 모델(LLM)은 인공지능 분야의 혁신을 이끌고 있지만, 막대한 계산 및 메모리 요구량으로 인해 실제 배포에 어려움을 겪고 있습니다. Wang Hui 등 6명의 연구원이 발표한 논문 "Pushing the Limits of BFP on Narrow Precision LLM Inference"는 이 문제 해결에 도전장을 던졌습니다.

이 논문의 핵심은 블록 부동 소수점(BFP) 의 한계를 극복하는 데 있습니다. BFP는 선형 연산 가속에 효과적이지만, 시퀀스 길이가 증가함에 따라 어텐션과 같은 비선형 연산이 성능 병목 현상을 일으키는 주범이 됩니다. 비선형 연산은 비효율적인 부동 소수점 형식을 사용하기 때문에 소프트웨어 효율과 하드웨어 오버헤드 최적화가 어렵습니다.

연구진은 이러한 문제를 해결하기 위해 하드웨어-소프트웨어 협업 설계 프레임워크인 DB-Attn을 제안했습니다. DB-Attn은 세 가지 주요 구성 요소로 이루어져 있습니다.

1. DBFP (Dynamic Block Floating Point): 다양한 데이터에 대한 피벗-포커스 전략과 유연한 지수 공유를 위한 적응적 그룹화 전략을 통해 비선형 연산의 과제를 극복하는 향상된 BFP 버전입니다. 기존 BFP의 한계를 뛰어넘는 핵심 기술이라고 할 수 있습니다.
2. DH-LUT (Dynamic Hardware-based Lookup Table): DBFP 형식을 사용하여 비선형 연산을 가속화하는 데 특화된 새로운 룩업 테이블 알고리즘입니다. 효율적인 연산을 위한 핵심 알고리즘입니다.
3. RTL-레벨 DBFP 기반 엔진: FPGA와 ASIC에 적용 가능한 DB-Attn을 지원하는 엔진입니다. 하드웨어적인 최적화를 통해 성능 향상을 극대화합니다.

실험 결과, DB-Attn은 정확도 손실 없이 상당한 성능 향상을 보였습니다. 특히 LLaMA의 Softmax 연산에서 GPU 속도를 74% 향상시켰고, 기존 최고 성능 설계(SOTA) 대비 10배의 오버헤드 개선을 달성했습니다. 이는 LLM의 효율적인 구현에 있어 획기적인 성과라고 할 수 있습니다. 이는 향후 LLM의 실제 세계 적용에 큰 기여를 할 것으로 예상됩니다. DB-Attn은 단순한 알고리즘 개선을 넘어, 하드웨어와 소프트웨어의 긴밀한 통합을 통해 LLM 성능 향상의 새로운 지평을 열었습니다.