🔥 Ascendra: LLM 서빙의 혁신, 처리량과 지연 시간의 완벽한 조화 🔥

Ascendra는 TTFT와 TBT SLO를 동시에 충족하는 동적 요청 우선순위 지정 시스템으로, GPU 리소스를 저/고우선순위 인스턴스로 분할하여 처리량과 지연 시간을 효과적으로 균형을 이룹니다. 기존 시스템 대비 최대 1.7배 향상된 처리량을 기록하며, LLM 서빙 효율성에 새로운 기준을 제시합니다.

LLM 시대의 도전: 처리량과 지연 시간, 두 마리 토끼를 잡아라!

대규모 언어 모델(LLM)의 급속한 발전은 더욱 효율적인 서빙 전략의 필요성을 불러일으켰습니다. 여기서 효율성이란, 특히 첫 토큰까지의 시간(TTFT)과 토큰 간 시간(TBT)과 같은 서비스 수준 목표(SLO)를 충족하는 요청의 비율을 의미합니다. 하지만 기존 시스템들은 종종 한 가지 지표에 집중하는 나머지 다른 지표를 희생하는 경우가 많았습니다.

Ascendra: 혁신적인 두 단계 우선순위 시스템

이러한 문제를 해결하기 위해 등장한 것이 바로 Ascendra입니다. Azam Ikram, Xiang Li, Sameh Elnikety, Saurabh Bagchi 등이 개발한 Ascendra는 TTFT와 TBT SLO를 동시에 충족하도록 설계된 LLM 서빙 시스템입니다. Ascendra의 핵심 아이디어는 요청의 긴급성이 마감 시간에 가까워짐에 따라 변화한다는 점에 있습니다.

Ascendra는 이러한 점을 활용하여 GPU 리소스를 저우선순위 인스턴스와 고우선순위 인스턴스의 두 가지 유형으로 분할합니다. 저우선순위 인스턴스는 요청을 도착 순서대로 처리하지 않고 처리량을 극대화하지만, 요청 지연의 위험이 있습니다. 이 문제를 해결하기 위해 Ascendra는 성능 모델을 사용하여 SLO를 충족하지 못할 위험이 있는 요청을 예측하고, 사전에 고우선순위 인스턴스로 오프로딩합니다. 고우선순위 인스턴스는 저지연 실행에 최적화되어 마감 시간이 임박한 긴급한 요청을 처리합니다.

이러한 분할 아키텍처를 통해 Ascendra는 높은 처리량과 낮은 지연 시간을 효과적으로 균형 있게 유지할 수 있습니다. 광범위한 평가 결과, Ascendra는 vLLM과 Sarathi-Serve에 비해 시스템 처리량을 최대 1.7배까지 향상시키는 동시에 TTFT 및 TBT SLO를 모두 충족하는 것으로 나타났습니다.

미래를 향한 발걸음: LLM 서빙의 새로운 지평

Ascendra는 단순한 성능 향상을 넘어, LLM 서빙 시스템 설계에 대한 새로운 패러다임을 제시합니다. 요청의 긴급성을 동적으로 고려하는 Ascendra의 접근 방식은 향후 LLM 기반 서비스의 확장성과 효율성을 크게 높일 것으로 기대됩니다. 이는 더욱 빠르고, 안정적이며, 효율적인 AI 애플리케이션 개발로 이어져 우리의 디지털 삶을 풍요롭게 할 것입니다. Ascendra의 등장은 LLM 기술 발전의 흥미로운 이정표가 될 것입니다.