꿈의 AI, 현실의 과제: 대규모 다중 모달 모델 효율적 서빙의 혁신

본 연구는 대규모 다중 모달 모델(LMM)의 효율적인 서빙을 위한 최초의 포괄적인 시스템 분석 연구로, 실제 환경에서의 LMM 추론 과정을 분석하여 이질적인 성능 특성과 자원 요구 사항을 밝히고, 분리된 서빙 아키텍처와 같은 새로운 해결책을 제시합니다.

최근 생성형 AI의 눈부신 발전으로 텍스트, 이미지, 비디오, 오디오 등 다양한 모달의 입력을 동시에 처리할 수 있는 대규모 다중 모달 모델(LMM)이 등장했습니다. 하지만 이러한 모델의 놀라운 기능에도 불구하고, 복잡한 아키텍처와 이질적인 자원 요구 사항으로 인해 실제 환경에서 효율적으로 서비스하는 데는 상당한 어려움이 있습니다.

Haoran Qiu를 비롯한 12명의 연구진은 이러한 문제에 대한 해결책을 제시하기 위해, 디코더 전용 및 크로스 어텐션이라는 두 가지 주요 LMM 아키텍처에 대한 최초의 포괄적인 시스템 분석을 실시했습니다. 6개의 대표적인 오픈 소스 모델을 대상으로 다단계 추론 파이프라인과 자원 활용 패턴을 조사하여 각 아키텍처의 시스템 설계에 대한 고유한 시사점을 도출했습니다. 여기서 그치지 않고, 실제 LMM 추론 추적 분석을 통해 가변적이고 긴 꼬리 분포를 가진 요청 분포, 다양한 모달 조합, 버스트 트래픽 패턴 등 고유한 작업 특성을 밝혀냈습니다.

연구 결과, LMM 추론의 여러 단계가 이질적인 성능 특성과 자원 요구 사항을 나타내며, 모달 간의 동시 요청이 성능 간섭을 일으킨다는 사실을 발견했습니다. 이러한 과제를 해결하기 위해 연구진은 각 단계에 대한 독립적인 자원 할당 및 적응적 확장을 가능하게 하는 분리된 서빙 아키텍처를 제안했습니다. 더 나아가, 스테이지 공동 배치와 같은 최적화 기법을 통해 처리량과 자원 활용도를 극대화하고 대기 시간 목표를 달성할 수 있음을 보였습니다.

이 연구는 LMM의 효율적인 서빙을 위한 새로운 지평을 열었습니다. 단순히 강력한 모델을 개발하는 것뿐 아니라, 실제 서비스 환경에서의 효율성까지 고려한 시스템 설계의 중요성을 보여주는 중요한 성과입니다. 앞으로 LMM 기반의 다양한 서비스들이 보다 빠르고 안정적으로 제공될 수 있도록 하는 핵심 기술이 될 것으로 기대됩니다.