혁신적인 LLM 서빙 시스템 XY-Serve: Ascend 기반의 초고속 처리 기술
송명총 등 12명의 연구진이 개발한 Ascend 기반의 LLM 서빙 시스템 XY-Serve는 메타 커널 기반의 혁신적인 최적화를 통해 기존 시스템 대비 최대 89%의 처리량 향상을 달성했습니다. 이는 LLM의 실시간 처리 성능 향상과 상용화에 중요한 의미를 지닙니다.

최근 급증하는 대규모 언어 모델(LLM)의 수요를 충족하기 위해서는 낮은 지연 시간과 높은 비용 효율성을 동시에 만족하는 서빙 시스템이 필수적입니다. 하지만 LLM의 입력 및 출력 길이의 동적이고 예측 불가능한 특성은 이러한 최적화 작업을 더욱 어렵게 만들고 있습니다. 특히, 타일 기반 프로그래밍 모델을 사용하는 DSA(Domain Specific Architecture) 기반의 AI 가속기에서는 작업 부하 변동성으로 인한 효율 저하 문제가 심각합니다.
송명총 등 12명의 연구진이 발표한 논문 "Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels"에서는 이러한 문제를 해결하기 위해 Ascend 기반의 새로운 LLM 서빙 시스템인 XY-Serve를 제안합니다. XY-Serve의 핵심은 하드웨어 친화적인 미세한 메타 원시 함수로 계산을 분해함으로써 작업 부하 변동성을 완화하는 추상화 메커니즘입니다.
어텐션 연산에 대해서는 matmul-softmax-matmul의 기본 패턴을 계산하는 아키텍처 인식 타일 크기를 가진 메타 커널을 제안했습니다. GEMM(General Matrix Multiplication) 연산의 경우, 다양한 고정 타일 크기를 가진 고효율 GEMM 원시 함수를 사용하면서 동적 형태 변경에 적응하는 가상 패딩 기법을 도입했습니다. XY-Serve는 vLLM과 원활하게 통합됩니다.
실험 결과, Ascend NPU에서 기존 공개 기준 시스템과 비교하여 최대 89%의 종단 간 처리량 향상을 보였습니다. 뿐만 아니라, 기존 라이브러리의 GEMM 커널(평균 14.6% 향상)과 어텐션 커널(평균 21.5% 향상)보다 뛰어난 성능을 기록했습니다. Ascend 전용으로 개발되었지만, 해당 접근 방식은 SIMT 아키텍처에도 쉽게 적용될 수 있다는 점에서 큰 의미를 지닙니다.
XY-Serve는 단순한 성능 향상을 넘어, LLM의 실시간 응용 및 상용화에 중요한 이정표를 세웠습니다. 향후 다양한 하드웨어 플랫폼에서의 확장과 더욱 정교한 최적화 연구를 통해 LLM의 발전과 보급에 크게 기여할 것으로 기대됩니다. 이는 LLM 기술의 대중화와 더욱 폭넓은 활용을 위한 중요한 진전입니다.
Reference
[arxiv] Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels
Published: (Updated: )
Author: Mingcong Song, Xinru Tang, Fengfan Hou, Jing Li, Wei Wei, Yipeng Ma, Runqiu Xiao, Hongjie Si, Dingcheng Jiang, Shouyi Yin, Yang Hu, Guoping Long
http://arxiv.org/abs/2412.18106v1