KunServe: 탄력적이고 효율적인 대규모 언어 모델 서빙의 혁신


KunServe는 LLM 서빙 시스템의 지연 문제를 해결하기 위한 혁신적인 매개변수 중심 접근 방식을 제시하며, 원격 어텐션 메커니즘과 파이프라인 병렬 처리를 통해 최대 27.3배의 지연 시간 감소를 달성했습니다.

related iamge

끊임없이 늘어나는 요구, 한계에 다다른 LLM 서빙

최근 급증하는 대규모 언어 모델(LLM) 사용으로 인해, 서빙 시스템의 부하가 급격히 증가하고 있습니다. 특히, 사고 과정 추론과 같은 장기적인 생성 요청은 귀중한 GPU 메모리를 쉽게 고갈시켜, 대기열에 쌓인 요청으로 인한 지연 현상을 유발합니다. 기존의 KV 캐시 중심 접근 방식은 부하 증가에 대응하기 위해 KV 캐시를 삭제, 마이그레이션 또는 스와핑하는 방식을 사용하지만, 현재 진행 중인 요청과 새로 들어오는 요청 간의 성능 저하라는 근본적인 문제점을 해결하지 못했습니다.

혁신적인 해결책: KunServe의 등장

중국과학원과의 공동 연구를 통해 개발된 KunServe는 이러한 문제를 해결하기 위해 매개변수 중심 접근 방식을 제시합니다. 연구진은 모델 매개변수가 요청과 독립적이며 GPU 전체에 복제되어 있다는 사실에 주목했습니다. KunServe는 필요에 따라 복제된 매개변수를 선택적으로 삭제하여 요청을 위한 소중한 메모리를 확보합니다. 하지만 LLM은 모델 매개변수와 연결하여 KV 캐시를 저장해야 하기 때문에, 매개변수 삭제는 막대한 계산 낭비나 긴 네트워크 지연을 초래하여 모든 진행 중인 요청에 영향을 미칠 수 있습니다.

원격 어텐션 메커니즘: 지능적인 메모리 관리

이러한 문제를 해결하기 위해, KunServe는 어텐션 연산자를 다른 연산자로부터 분리할 수 있다는 점에 착안하여 혁신적인 원격 어텐션 메커니즘을 제안합니다. 파이프라인 병렬 처리를 통해 원격 GPU의 매개변수에서 빌린 추가 메모리를 사용하여 새로 들어오는 요청을 처리합니다. 또한, 불완전한 매개변수로 KV 캐시를 활발하게 교환하고, 메모리 요구 사항과 협력 실행 오버헤드 간의 균형을 맞추는 적절한 계획을 생성하며, 스로틀링이 해제될 때 매개변수를 원활하게 복원하는 등 여러 가지 과제를 해결합니다.

놀라운 성과: 최대 27.3배의 지연 시간 감소

실험 결과, KunServe는 스로틀링 상황에서 요청의 꼬리 지연 시간(TTFT)을 최첨단 기술 대비 최대 27.3배까지 감소시키는 놀라운 성능을 보였습니다. 이는 LLM 서빙 시스템의 효율성과 안정성을 크게 향상시키는 획기적인 결과입니다. KunServe는 LLM의 잠재력을 더욱 발휘할 수 있도록 하는 핵심 기술로서, 앞으로 AI 기술 발전에 크게 기여할 것으로 예상됩니다. 특히, 대규모 언어 모델의 실시간 응답 속도 향상과 서버 자원 효율 증대에 대한 기대감을 높이고 있습니다. 이는 향후 더욱 복잡하고 요구사항이 높은 AI 애플리케이션의 개발에 중요한 전환점이 될 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] KunServe: Elastic and Efficient Large Language Model Serving with Parameter-centric Memory Management

Published:  (Updated: )

Author: Rongxin Cheng, Yifan Peng, Yuxin Lai, Xingda Wei, Rong Chen, Haibo Chen

http://arxiv.org/abs/2412.18169v1