LoL-PIM: 확장 가능한 DRAM-PIM 시스템을 이용한 장문 컨텍스트 LLM 디코딩
권혁성 등 21명의 연구진이 개발한 LoL-PIM은 장문 컨텍스트 LLM의 메모리 병목 현상을 해결하기 위한 다중 노드 PIM 아키텍처입니다. 하드웨어-소프트웨어 공동 설계와 MLIR 기반 컴파일러를 통해 다중 GPU 및 GPU-PIM 시스템 대비 최대 16배의 속도 향상을 달성했습니다.

메모리 병목 현상을 극복하다: LoL-PIM의 등장
수천억 개의 매개변수를 가진 대규모 언어 모델(LLM)의 발전은 컴퓨팅 자원, 특히 데이터 이동 및 메모리 대역폭에 상당한 부담을 주고 있습니다. 수만 토큰의 시퀀스를 처리하는 장문 컨텍스트 LLM은 어텐션 계층의 복잡성과 키-값 캐시 크기가 컨텍스트 길이에 비례하여 메모리 시스템의 부담을 더욱 증폭시킵니다.
이러한 메모리 대역폭 문제에 대한 해결책으로, Processing-in-Memory (PIM) 기술이 주목받고 있습니다. PIM은 연산을 데이터로 이동시켜 메모리 대역폭을 극대화하지만, 제한된 모듈당 메모리 용량과 고정적인 기능 장치 PIM 아키텍처 및 정적 메모리 관리의 비유연성으로 인해 장문 컨텍스트 LLM을 가속화하는 데는 한계가 있습니다.
LoL-PIM: 하드웨어-소프트웨어 공동 설계의 결실
권혁성, 구경모 등 21명의 연구진이 개발한 LoL-PIM은 이러한 문제를 해결하기 위해 등장했습니다. LoL-PIM은 하드웨어-소프트웨어 공동 설계를 통해 장문 컨텍스트 LLM을 가속화하는 다중 노드 PIM 아키텍처입니다. 연구진은 다중 PIM 모듈에서 파이프라인 병렬 처리를 활용하는 방법을 제안하고, 동적 PIM 메모리 관리를 가능하게 하는 직접 PIM 액세스(DPA) 컨트롤러(또는 PIM용 DMA)를 제시하여 다양한 컨텍스트 길이에서 효율적인 PIM 활용을 실현했습니다.
연구진은 상용 PIM 기반 컴파일러를 확장한 MLIR 기반 컴파일러를 개발하여 LoL-PIM을 구현했습니다. 소프트웨어 수정은 구현 및 평가되었고, 하드웨어 변경 사항은 시뮬레이터에서 모델링되었습니다.
압도적인 성능 향상: 실험 결과
평가 결과, LoL-PIM은 장문 컨텍스트 LLM 추론의 처리량을 크게 향상시키고 지연 시간을 단축하는 것으로 나타났습니다. 다중 GPU 및 GPU-PIM 시스템에 비해 최대 8.54배 및 16.0배의 속도 향상을 보였습니다. 이는 실제 애플리케이션에서 LLM의 보다 효율적인 배포를 가능하게 합니다.
결론적으로, LoL-PIM은 대용량 언어 모델의 확장성 문제에 대한 획기적인 해결책을 제시하며, 차세대 AI 기술 발전에 중요한 기여를 할 것으로 기대됩니다.
Reference
[arxiv] LoL-PIM: Long-Context LLM Decoding with Scalable DRAM-PIM System
Published: (Updated: )
Author: Hyucksung Kwon, Kyungmo Koo, Janghyeon Kim, Woongkyu Lee, Minjae Lee, Hyungdeok Lee, Yousub Jung, Jaehan Park, Yosub Song, Byeongsu Yang, Haerang Choi, Guhyun Kim, Jongsoon Won, Woojae Shin, Changhyun Kim, Gyeongcheol Shin, Yongkee Kwon, Ilkon Kim, Euicheol Lim, John Kim, Jungwook Choi
http://arxiv.org/abs/2412.20166v1