TAPAS: 클라우드 환경에서 LLM 추론을 위한 혁신적인 열 및 전력 관리 프레임워크
본 기사는 Jovan Stojkovic 등 연구진이 개발한 TAPAS 프레임워크를 소개합니다. TAPAS는 클라우드 환경에서 LLM 추론의 열 및 전력 관리 문제를 해결하기 위한 혁신적인 시스템으로, 효율적인 리소스 배치와 비상 상황 대처 능력을 통해 시스템 효율성을 크게 향상시킵니다.

급증하는 LLM 수요와 클라우드 데이터센터의 과제
생성형 대규모 언어 모델(LLM)의 수요 급증은 클라우드 데이터센터의 열 및 전력 관리에 심각한 도전 과제를 제기합니다. 기존의 기술들은 LLM 추론 작업의 특성을 제대로 반영하지 못하는 경우가 많습니다. LLM 추론은 밀리초 단위의 미세한 실행 단계로 이루어지며, 각 단계마다 성능, 열, 전력 프로파일이 다르기 때문입니다. 더욱이 모델 병렬 처리, 크기, 양자화와 같은 다양한 구성 매개변수에 따라 성능, 온도, 전력, 출력 품질 간의 절충이 필요합니다. 클라우드 환경에서는 SaaS 및 IaaS 워크로드가 공존하며, 각각의 가시성과 유연성 수준도 다릅니다.
TAPAS: 열 및 전력 인식 프레임워크의 등장
Jovan Stojkovic 등 연구진은 이러한 문제를 해결하기 위해 TAPAS라는 새로운 열 및 전력 인식 프레임워크를 제안했습니다. TAPAS는 클라우드 환경의 LLM 추론 클러스터를 위해 설계되었으며, 냉각 및 전력 과부하 기능을 향상시켜 총 소유 비용(TCO)을 줄이고 비상 상황(예: 냉각 및 전력 장애)을 효과적으로 처리합니다. TAPAS는 과거 온도 및 전력 데이터와 SaaS 워크로드의 적응성을 활용하여 다음과 같은 세 가지 주요 기능을 제공합니다.
- 효율적인 GPU 워크로드 VM 배치: 냉각 및 전력 제약 조건 내에서 새로운 GPU 워크로드 VM을 효율적으로 배치합니다.
- LLM 추론 요청 라우팅: SaaS VM 전반에 걸쳐 LLM 추론 요청을 라우팅합니다.
- SaaS VM 재구성: 부하 스파이크 및 비상 상황을 관리하기 위해 SaaS VM을 재구성합니다.
실험 결과: 괄목할 만한 성능 향상
대규모 GPU 클러스터에서의 평가 결과, TAPAS는 열 및 전력 제한 이벤트를 상당히 줄이고 시스템 효율성을 높이는 것으로 나타났습니다. 이는 LLM 추론 작업의 효율적인 관리 및 클라우드 데이터센터의 지속 가능성을 위한 중요한 진전입니다. TAPAS는 단순한 열 및 전력 관리 시스템을 넘어, SaaS 및 IaaS 워크로드의 통합 관리를 통해 클라우드 환경에서 LLM의 확장성과 효율성을 극대화하는 혁신적인 시스템입니다. 앞으로 TAPAS의 발전과 상용화가 기대됩니다.
Reference
[arxiv] TAPAS: Thermal- and Power-Aware Scheduling for LLM Inference in Cloud Platforms
Published: (Updated: )
Author: Jovan Stojkovic, Chaojie Zhang, Íñigo Goiri, Esha Choukse, Haoran Qiu, Rodrigo Fonseca, Josep Torrellas, Ricardo Bianchini
http://arxiv.org/abs/2501.02600v1