꿈의 AI 속도를 현실로: 대규모 언어 모델 추론 최적화의 혁신

Pang Bowen 등 연구진은 대규모 언어 모델(LLM) 추론 최적화를 위해 하이브리드 오프라인-온라인 스케줄링 기법을 제안, 혼합정수계획법(MIP) 모델과 라그랑주 방법을 활용하여 시스템 활용률을 80.2%에서 89.1%로 향상시키고 추론 시간을 단축하는 성과를 거두었습니다. 이 연구는 LLM의 실용화에 기여할 중요한 발견으로 평가됩니다.

최근 급속한 발전을 거듭하는 대규모 언어 모델(LLM)은 그 잠재력만큼이나 높은 하드웨어 자원 소모량으로 인해 실질적인 활용에 제약이 따릅니다. Pang Bowen 등 연구진은 이러한 문제 해결을 위해 하이브리드 오프라인-온라인 스케줄링 기법을 제시하며 AI 추론 속도 향상에 새로운 이정표를 세웠습니다.

이 연구의 핵심은 LLM 서빙 시스템의 처리량 극대화와 하드웨어 활용도를 최대화하는 데 있습니다. 연구진은 혼합정수계획법(MIP) 모델을 이용하여 추론 최적화 문제를 수학적으로 정의하고, 이를 해결하기 위한 효율적인 하이브리드 방식을 제안했습니다. 이는 오프라인과 온라인 단계로 나뉘는데, 오프라인 단계에서는 **'메이크스팬 최소화 빈 패킹 문제'**를 도입하여 대규모 추론 시스템의 효율성을 획기적으로 개선했습니다. 더 나아가, 이론적인 하한선 계산 방법까지 제시하여 최적화의 한계를 탐구했습니다.

온라인 단계에서는 라그랑주 방법을 활용하여 각 반복 단계에서 프리필(prefill) 단계와 디코딩(decode) 단계의 비용 효율성을 평가하고, 필요에 따라 디코딩 작업을 선점하고 프리필 작업을 삽입하는 동적 전략을 구현했습니다. 이는 마치 교통 신호 제어 시스템처럼, 실시간 상황에 맞춰 AI 처리 과정을 최적으로 제어하는 셈입니다.

실제 LLaMA-65B 모델과 GSM8K 데이터셋을 사용한 실험 결과는 놀랍습니다. 시스템 활용률이 80.2%에서 89.1%로 향상, 전체 추론 시간은 201초에서 190.58초로 단축되었습니다. 100개의 사례 연구를 통해서도 기존 방법 대비 평균 8%의 활용률 개선 효과가 꾸준히 확인되었습니다.

이 연구는 단순한 최적화를 넘어, 확률적 모델링, 강화학습 기반 스케줄러, 시스템 처리량 및 하드웨어 활용도를 위한 동적 의사결정 전략 등 다양한 추가 연구 방향을 제시하며 LLM의 실용화에 한층 더 다가서게 하는 중요한 발걸음이 될 것으로 기대됩니다. AI의 꿈같은 속도를 현실로 만들어 줄 이 혁신적인 연구에 주목할 필요가 있습니다.