혁신적인 AI 가속기 PAPI: LLM 디코딩 속도를 11배 향상시키다!

본 기사는 Yintao He 등 9명의 연구진이 개발한 PIM 기반 이종 컴퓨팅 시스템 PAPI를 소개합니다. PAPI는 LLM 디코딩 과정에서 동적 병렬 처리를 통해 기존 시스템 대비 최대 11.1배의 속도 향상을 달성, LLM의 실시간 처리 및 대규모 응용 가능성을 열었습니다.

대규모 언어 모델의 속도 한계를 뛰어넘다: PAPI의 등장

최근 급격한 발전을 거듭하는 대규모 언어 모델(LLM)은 자연어 이해와 텍스트 생성 분야에서 혁신적인 성과를 보이고 있습니다. 하지만 LLM의 핵심 과정인 디코딩은 여전히 시간이 오래 걸리는 병목 현상으로 남아 있습니다. 기존의 병렬 처리 기법으로는 한계가 명확했습니다. 이러한 문제를 해결하기 위해, Yintao He 등 9명의 연구진은 획기적인 PIM(Processing-in-Memory) 기반의 이종 컴퓨팅 시스템인 PAPI(PArallel Decoding with PIM) 를 개발했습니다.

PAPI: 동적 병렬 처리의 힘

PAPI는 LLM 디코딩 과정에서 발생하는 연산 집약적(compute-bound) 및 메모리 집약적(memory-bound) 작업들을 실시간으로 분석하여, 가장 적합한 하드웨어 유닛에 동적으로 할당하는 혁신적인 기술을 선보입니다. 이는 기존의 정적 할당 방식의 한계를 극복하고, 시스템 요구사항 및 사용자 요구사항 변화에 유연하게 대응할 수 있도록 합니다. PAPI의 핵심은 다음 두 가지 메커니즘에 있습니다.

1. 온라인 커널 특성 분석: 실행 시간에 커널의 특성을 동적으로 분석하여 최적의 하드웨어를 선택합니다. 이는 메모리 제약이나 연산 제약이 런타임에 변화하는 LLM 디코딩의 특성을 효과적으로 활용합니다.
2. PIM 기반 이종 컴퓨팅 시스템: 연산 중심 처리 장치와 다양한 연산 능력을 가진 PIM 유닛을 조화롭게 통합하여 시너지 효과를 극대화합니다. 다양한 컴퓨팅 요구사항을 효율적으로 처리할 수 있는 유연성을 제공합니다.

놀라운 성능 향상: 최대 11.1배 속도 향상

연구진은 널리 사용되는 세 가지 LLM을 대상으로 PAPI의 성능을 평가했습니다. 그 결과, 기존 최첨단 이종 LLM 가속기 대비 최대 1.8배, 최첨단 PIM 전용 LLM 가속기 대비 최대 11.1배의 속도 향상을 달성했습니다. 이는 PAPI가 LLM 디코딩의 속도 저하 문제를 효과적으로 해결하고, 향후 LLM 응용 분야의 발전에 크게 기여할 것임을 시사합니다. 이는 단순한 속도 향상을 넘어, LLM의 실시간 처리 및 대규모 응용을 가능하게 하는 중요한 이정표입니다.

미래를 향한 전망: PAPI의 가능성

PAPI는 LLM 디코딩 속도 향상을 넘어, PIM 기술과 이종 컴퓨팅 시스템의 새로운 가능성을 제시합니다. 향후 더욱 발전된 PAPI 기반의 AI 시스템은 실시간 번역, 대화형 AI, 지능형 검색 등 다양한 분야에서 혁신적인 변화를 가져올 것으로 기대됩니다. 이 연구는 AI 기술 발전에 중요한 기여를 하였으며, 앞으로의 발전이 더욱 기대되는 부분입니다.