좁은 정밀도 LLM 추론에서 BFP의 한계를 뛰어넘다: DB-Attn 프레임워크

Wang Hui 등 연구진이 개발한 DB-Attn 프레임워크는 블록 부동 소수점(BFP)을 활용하여 대규모 언어 모델(LLM)의 비선형 연산 성능을 크게 향상시켰습니다. LLaMA의 Softmax 연산에서 GPU 대비 74%의 속도 향상과 기존 최고 성능 설계 대비 10배의 오버헤드 감소를 달성하여 LLM의 효율적인 배포에 기여할 것으로 기대됩니다.

대규모 언어 모델(LLM)은 엄청난 계산 및 메모리 자원을 필요로 하여 배포에 어려움을 겪고 있습니다. Wang Hui 등 연구진이 발표한 논문 "Pushing the Limits of BFP on Narrow Precision LLM Inference"는 이 문제 해결에 도전장을 던졌습니다. LLM 작업의 기반이 되는 선형 연산 가속화에 효과적인 블록 부동 소수점(BFP)을 넘어, 비선형 연산, 특히 어텐션 메커니즘의 성능 향상에 초점을 맞춘 것입니다.

비선형 연산의 난제: 속도 vs. 정확도

문제는 바로 비선형 연산, 특히 어텐션 메커니즘에 있습니다. 시퀀스 길이가 길어질수록 어텐션 연산의 계산 복잡도는 제곱으로 증가하여 성능 병목 현상을 야기합니다. 기존의 부동 소수점 방식은 비효율적이어서 소프트웨어 효율과 하드웨어 오버헤드를 최적화하는 데 어려움을 겪습니다.

DB-Attn: 하드웨어-소프트웨어 협력 설계의 승리

연구진은 이러한 문제를 해결하기 위해 DB-Attn이라는 새로운 하드웨어-소프트웨어 협력 설계 프레임워크를 제시했습니다. DB-Attn은 다음 세 가지 핵심 요소로 구성됩니다.

1. DBFP (Dual Block Floating Point): 기존 BFP의 한계를 극복하기 위해 다양한 데이터에 대한 피벗-포커스 전략과 유연한 지수 공유를 위한 적응형 그룹화 전략을 도입한 고급 BFP 버전입니다.
2. DH-LUT (Dynamic Hardware Lookup Table): DBFP 형식을 사용하여 비선형 연산을 가속화하는 새로운 룩업 테이블 알고리즘입니다.
3. RTL 레벨 DBFP 기반 엔진: FPGA와 ASIC에 적용 가능한 DB-Attn을 지원하는 하드웨어 엔진입니다.

놀라운 성능 향상: 74% GPU 속도 향상과 10배의 오버헤드 감소

실험 결과는 놀랍습니다. DB-Attn은 LLaMA의 Softmax 연산에서 GPU 대비 74%의 속도 향상을 달성했으며, 기존 최고 성능 설계 대비 10배의 오버헤드 개선을 보였습니다. 정확도 손실은 무시할 만한 수준이었습니다. 이는 LLM의 효율적인 배포에 큰 진전을 가져올 획기적인 결과입니다.

미래를 향한 전망

DB-Attn은 LLM의 성능 향상에 새로운 가능성을 제시합니다. 향후 연구는 더욱 다양한 LLM 아키텍처와 작업에 DB-Attn을 적용하고, 에너지 효율을 더욱 높이는 방향으로 진행될 것으로 예상됩니다. 이 연구는 LLM의 실용화를 앞당기는 중요한 발걸음이 될 것입니다.