LoL-PIM: 확장 가능한 DRAM-PIM 시스템을 통한 장문맥 LLM 디코딩

본 기사는 권혁성, 구경모 등 연구팀이 개발한 LoL-PIM 아키텍처에 대한 내용을 다룹니다. LoL-PIM은 장문맥 LLM의 메모리 대역폭 문제를 해결하기 위해 다중 노드 PIM 아키텍처와 하드웨어-소프트웨어 공동 설계를 활용, 다중 GPU 및 GPU-PIM 시스템 대비 최대 16배의 속도 향상을 달성했습니다.

거대 언어 모델의 한계 돌파: LoL-PIM의 등장

수십억 개의 매개변수를 자랑하는 거대 언어 모델(LLM)은 놀라운 성능을 보여주지만, 막대한 컴퓨팅 자원이 필요하다는 한계를 가지고 있습니다. 특히 수만 개의 토큰을 처리하는 장문맥 LLM은 메모리 대역폭 문제에 직면하며, 이는 처리 속도 저하로 이어집니다. 이러한 문제 해결을 위해 등장한 것이 바로 LoL-PIM입니다.

메모리 대역폭의 벽을 허물다: LoL-PIM의 혁신적인 접근

연구팀(권혁성, 구경모, 김장현 외)은 LoL-PIM, 즉 다중 노드 PIM(Processing-in-Memory) 아키텍처를 제안했습니다. PIM은 연산을 데이터가 있는 메모리로 이동시켜 메모리 대역폭을 극대화하는 기술입니다. 하지만 기존 PIM은 제한된 메모리 용량과 유연성 부족으로 장문맥 LLM 가속에 한계를 보였습니다.

LoL-PIM은 이러한 한계를 극복하기 위해 하드웨어-소프트웨어 공동 설계를 통해 다음과 같은 혁신적인 접근 방식을 제시합니다.

• 다중 PIM 모듈을 활용한 파이프라인 병렬 처리: 여러 PIM 모듈에 걸쳐 연산을 병렬적으로 처리하여 속도를 향상시킵니다.
• 직접 PIM 접근(DPA) 컨트롤러: 동적 PIM 메모리 관리를 가능하게 하여 다양한 문맥 길이에 효율적으로 대응합니다.
• MLIR 기반 컴파일러: 상용 PIM 기반 컴파일러를 확장하여 소프트웨어 최적화를 수행하고 하드웨어 변화를 시뮬레이터에서 모델링합니다.

압도적인 성능 향상: 실험 결과

실험 결과, LoL-PIM은 장문맥 LLM 추론에서 처리량을 크게 향상시키고 지연 시간을 단축하는 놀라운 성능을 보였습니다. 다중 GPU 시스템에 비해 최대 8.54배, GPU-PIM 시스템에 비해 최대 16.0배의 속도 향상을 기록했습니다. 이는 실제 애플리케이션에서 LLM을 더욱 효율적으로 배포할 수 있는 가능성을 열어줍니다.

미래를 향한 발걸음: LoL-PIM의 의미

LoL-PIM은 단순한 성능 향상을 넘어, 장문맥 LLM의 실제 적용을 위한 중요한 돌파구를 마련했습니다. 이는 더욱 발전된 AI 기술 개발과 다양한 분야에서의 활용 가능성을 시사하며, AI 기술의 미래를 밝게 비추는 중요한 이정표가 될 것입니다. 향후 연구를 통해 LoL-PIM의 성능 개선과 더욱 폭넓은 적용이 기대됩니다.