시소(Seesaw): 모델 재샤딩을 통한 초고속 LLM 추론 엔진 등장!

본 기사는 대규모 언어 모델(LLM) 추론의 처리량을 획기적으로 향상시킨 새로운 엔진 '시소(Seesaw)'에 대한 소개입니다. 동적 모델 재샤딩, 계층형 KV 캐시 버퍼링, 전환 최소화 스케줄링 등의 기술을 통해 기존 엔진 대비 최대 1.78배의 처리량 향상을 달성하였으며, LLM 기반 서비스의 성능 향상에 크게 기여할 것으로 기대됩니다.

LLM 추론의 혁신: 시소(Seesaw) 엔진의 등장

최근 급증하는 대규모 언어 모델(LLM)의 활용에 발맞춰, LLM 추론의 효율성 향상은 매우 중요한 과제로 떠올랐습니다. 기존에는 텐서 병렬 처리와 파이프라인 병렬 처리 등의 다양한 병렬화 전략이 제시되었지만, LLM 추론의 두 단계인 프리필링(prefilling)과 디코딩(decoding)의 계산 특성 차이로 인해 단일 정적 병렬화 전략만으로는 효율적인 최적화가 어려웠습니다.

이러한 문제점을 해결하고자, Qidong Su를 비롯한 연구팀은 시소(Seesaw) 라는 혁신적인 LLM 추론 엔진을 개발했습니다. 시소의 핵심은 바로 동적 모델 재샤딩(dynamic model re-sharding) 기술입니다. 이 기술은 단계별로 병렬화 전략을 동적으로 재구성하여, 프리필링과 디코딩 두 단계 모두에서 처리량을 극대화합니다.

단순히 모델을 재구성하는 것만으로는 효율적인 추론이 불가능합니다. 잦은 단계 전환으로 인한 오버헤드를 최소화하고 배치 효율을 극대화하기 위해, 연구팀은 계층형 KV 캐시 버퍼링(tiered KV cache buffering) 과 전환 최소화 스케줄링(transition-minimizing scheduling) 을 함께 사용했습니다. 이 두 기술은 시너지 효과를 내어 시소의 성능을 획기적으로 향상시켰습니다.

실제 평가 결과, 시소는 현재 가장 널리 사용되는 최첨단 LLM 추론 엔진인 vLLM에 비해 최대 1.78배(평균 1.36배)의 처리량 향상을 달성했습니다. 이는 LLM 기반 서비스의 확장성과 성능을 크게 개선할 수 있는 획기적인 성과입니다. 시소의 등장으로, 더욱 빠르고 효율적인 LLM 기반 애플리케이션의 개발이 가속화될 것으로 기대됩니다. 앞으로 시소가 LLM 분야에 어떤 영향을 미칠지 주목할 필요가 있습니다.

주요 연구진: Qidong Su, Wei Zhao, Xin Li, Muralidhar Andoorveedu, Chenhao Jiang, Zhanda Zhu, Kevin Song, Christina Giannoula, Gennady Pekhimenko