AdaServe: SLO 맞춤형 LLM 서빙 시스템의 혁신

AdaServe는 SLO 맞춤형 LLM 서빙 시스템으로, 정교한 예측적 디코딩과 예측 및 선택 방식을 통해 기존 시스템 대비 SLO 달성률과 처리량을 크게 향상시켰습니다. 이는 다양한 애플리케이션에서 LLM의 효율성과 적응성을 높이는 데 크게 기여할 것으로 기대됩니다.

최근 급속도로 발전하는 대규모 언어 모델(LLM)의 활용이 증가함에 따라, LLM을 효율적이고 안정적으로 서비스하는 기술에 대한 요구 또한 급증하고 있습니다. 이러한 시대적 요구에 발맞춰, Zikun Li 등 13명의 연구자들이 개발한 AdaServe는 LLM 서빙 시스템의 새로운 지평을 열었습니다.

AdaServe는 SLO(Service Level Objective) 맞춤형으로 설계되어, 각 애플리케이션의 요구사항에 따라 서비스 품질을 유연하게 조정할 수 있습니다. 핵심은 정교한 예측적 디코딩(fine-grained speculative decoding) 기술입니다. AdaServe는 초안 모델의 로짓(logit)을 활용하여 토큰의 예측 정확도를 예측하고, 이론적으로 최적화된 알고리즘을 사용하여 토큰 트리를 구축합니다. 이를 통해 불필요한 계산을 줄이고, 속도와 정확성을 동시에 향상시켰습니다.

특히, 다양한 SLO 요구사항을 처리량 저하 없이 만족시키기 위해 '예측 및 선택' 방식을 채택한 점이 주목할 만합니다. AdaServe는 각 요청에 대해 여러 후보 토큰 트리를 생성한 후, 개별 SLO 제약 조건을 충족하면서 처리량을 최적화하는 토큰을 동적으로 선택합니다. 이는 다양한 애플리케이션 환경에 대한 적응력을 높여줍니다.

실험 결과는 놀랍습니다. AdaServe는 기존 최첨단 시스템에 비해 SLO 달성률을 최대 73%, 처리량(goodput)을 최대 74% 향상시켰습니다. 이는 AdaServe가 LLM 배포의 효율성과 적응성을 획기적으로 개선할 수 있는 잠재력을 가지고 있음을 보여줍니다. 앞으로 AdaServe는 다양한 분야에서 LLM의 실용성을 높이고, 더욱 발전된 AI 서비스 구축에 기여할 것으로 기대됩니다.

AdaServe의 핵심: SLO 맞춤형, 정교한 예측적 디코딩, 예측 및 선택 방식

AdaServe의 성과: SLO 달성률 최대 73% 향상, 처리량(goodput) 최대 74% 향상