KunServe: 탄력적이고 효율적인 대규모 언어 모델 서빙을 위한 파라미터 중심 메모리 관리
본 기사는 중국과학기술대학 연구진이 개발한 KunServe에 대해 다룹니다. KunServe는 LLM 서빙 시스템의 GPU 메모리 부족 문제를 해결하기 위해 파라미터 중심 메모리 관리와 원격 어텐션 메커니즘을 활용, 최첨단 기술 대비 최대 27.3배의 응답 시간 단축 효과를 달성했습니다.

폭주하는 LLM 서빙, 그 해결책은? KunServe 등장!
최근 급증하는 대규모 언어 모델(LLM)의 수요는 서빙 시스템에 큰 부담을 주고 있습니다. 특히, 장시간의 응답을 요구하는 복잡한 질문이나 연쇄적 추론과 같은 작업은 GPU 메모리를 빠르게 소진시켜, 심각한 지연 현상을 야기합니다. 기존의 KV 캐시 중심 접근 방식은 이러한 문제를 해결하기 위해 캐시 삭제, 이동 또는 스왑과 같은 방법을 사용하지만, 현재 요청과 새로 들어오는 요청 간의 성능 저하라는 딜레마에 직면해 있습니다.
중국과학기술대학(USTC) 의 연구진은 이러한 문제를 해결하기 위해 KunServe라는 혁신적인 시스템을 개발했습니다. Cheng Rongxin 등 연구진의 논문 "KunServe: Elastic and Efficient Large Language Model Serving with Parameter-centric Memory Management"에 따르면, KunServe는 모델 파라미터가 요청과 독립적이며 GPU에 복제되어 있다는 점에 주목합니다. 따라서, KunServe는 필요에 따라 복제된 파라미터를 선택적으로 삭제하여 귀중한 메모리를 요청 처리에 할당하는 파라미터 중심 접근 방식을 제시합니다.
하지만, LLM은 모델 파라미터와 함께 KV 캐시를 저장해야 하기 때문에 파라미터 삭제는 막대한 계산 낭비 또는 긴 네트워크 지연을 초래할 수 있습니다. 이를 해결하기 위해, 연구진은 어텐션 연산을 다른 연산과 분리할 수 있다는 점에 착안하여 원격 어텐션 메커니즘을 도입했습니다. 이 메커니즘은 파이프라인 병렬 처리와 결합되어, 원격 GPU의 파라미터에서 메모리를 빌려오면서도 새로 들어오는 요청을 처리할 수 있도록 합니다.
또한, KunServe는 불완전한 파라미터를 가진 KV 캐시의 동적인 교환, 메모리 요구 사항과 협력적 실행 오버헤드 간의 균형을 맞추는 계획 생성, 그리고 스로틀링이 해제될 때 파라미터를 원활하게 복원하는 등 여러 가지 과제를 해결합니다. 실험 결과, KunServe는 최첨단 기술에 비해 요청의 응답 시간 지연을 최대 27.3배까지 줄이는 놀라운 성능 향상을 보여주었습니다.
KunServe는 LLM 서빙 시스템의 효율성과 안정성을 획기적으로 개선하는 혁신적인 기술로, 앞으로 LLM의 대중화와 발전에 크게 기여할 것으로 기대됩니다. 이는 단순한 기술적 발전을 넘어, 더욱 빠르고 안정적인 AI 서비스 경험을 사용자에게 제공하는 중요한 발걸음입니다.
Reference
[arxiv] KunServe: Elastic and Efficient Large Language Model Serving with Parameter-centric Memory Management
Published: (Updated: )
Author: Rongxin Cheng, Yifan Peng, Yuxin Lai, Xingda Wei, Rong Chen, Haibo Chen
http://arxiv.org/abs/2412.18169v2