LServe: 통합 스파스 어텐션을 통한 효율적인 장문 LLM 서빙 시스템

MIT 한 연구팀이 개발한 LServe는 하이브리드 스파스 어텐션과 계층적 KV 페이지 선택 정책을 통해 장문 LLM 서빙의 속도와 메모리 효율을 획기적으로 향상시킨 시스템입니다. Prefilling 속도는 최대 2.9배, Decoding 속도는 1.3~2.1배 향상되었으며, 장문 컨텍스트의 정확성은 그대로 유지됩니다.

혁신적인 LLM 서빙 시스템, LServe 등장

최근 발표된 논문 "LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention"은 장문 컨텍스트를 처리하는 대규모 언어 모델(LLM)의 서빙 효율을 획기적으로 개선한 LServe 시스템을 소개합니다. 상양 등 연구진이 주도한 이 연구는 기존 LLM 서빙의 두 가지 주요 과제, 즉 어텐션 메커니즘의 계산 복잡도와 KV 캐시의 큰 메모리 사용량 문제에 대한 해결책을 제시합니다.

어텐션 메커니즘의 효율적인 개선: 하이브리드 스파스 어텐션

LServe의 핵심은 하이브리드 스파스 어텐션입니다. 이 기법은 prefilling(사전 채우기) 및 decoding(디코딩) 단계 모두에서 하드웨어 친화적인 구조적 스파스 패턴을 통합하여, 중요도가 낮은 토큰에 대한 계산을 블록 단위로 건너뜁니다. 이는 정적 스파스성과 동적 스파스성의 장점을 결합하여 계산 속도를 획기적으로 향상시키는 효과를 가져옵니다. 특히, 어텐션 헤드의 절반을 거의 무료에 가까운 스트리밍 헤드로 전환하여 속도 향상을 더욱 극대화했습니다.

메모리 효율적인 KV 페이지 관리: 계층적 KV 페이지 선택 정책

장문 컨텍스트 처리에 필요한 KV 페이지 수는 컨텍스트 길이에 상관없이 일정하게 유지됩니다. 이를 위해 연구진은 계층적 KV 페이지 선택 정책을 고안했습니다. 이 정책은 쿼리 중심 유사도에 따라 동적으로 KV 페이지를 가지치기하여 메모리 사용량을 효율적으로 관리합니다.

놀라운 성능 향상: 기존 시스템 대비 압도적인 속도 향상

LServe는 vLLM에 비해 평균적으로 LLM prefilling 속도를 최대 2.9배, decoding 속도를 1.3~2.1배 향상시키는 놀라운 성능을 보여주었습니다. 이는 장문 컨텍스트의 정확성을 유지하면서 속도를 크게 향상시켰다는 점에서 매우 중요한 의미를 지닙니다. 소스 코드는 https://github.com/mit-han-lab/omniserve 에서 확인할 수 있습니다.

결론: LLM 서빙의 새로운 지평을 열다

LServe는 하이브리드 스파스 어텐션과 계층적 KV 페이지 선택 정책을 통해 장문 LLM 서빙의 효율성을 획기적으로 개선했습니다. 이 연구는 LLM의 실용성을 한 단계 끌어올렸을 뿐만 아니라, 미래의 LLM 연구 개발에 중요한 방향을 제시할 것으로 기대됩니다. 앞으로 LServe의 발전과 다른 분야로의 응용이 더욱 기대됩니다. 🎉