AI 시대의 GPU 데이터센터: 에너지 효율과 성능 향상의 조화
본 기사는 Francesco Lettich 등이 발표한 논문 "Power- and Fragmentation-aware Online Scheduling for GPU Datacenters"를 바탕으로 AI 시대의 GPU 데이터센터에서 에너지 효율과 성능 향상을 위한 새로운 스케줄링 정책에 대해 소개합니다. FGD와 PWR을 결합하여 GPU 단편화를 줄이고 전력 소비를 최소화하는 방법을 제시하며, 지속가능한 데이터센터 운영에 기여하는 연구 결과임을 강조합니다.

인공지능과 대규모 언어 모델의 급속한 발전은 데이터센터에서 GPU 사용량을 폭발적으로 증가시켰습니다. 복잡한 AI 모델 학습과 추론 작업을 처리하기 위해 GPU의 수요가 급증하면서 운영 비용, 에너지 소비, 그리고 환경적 영향까지 고려해야 하는 상황에 직면했습니다. Francesco Lettich 등 5명의 연구자는 이러한 문제에 대한 해결책을 제시하는 논문, "Power- and Fragmentation-aware Online Scheduling for GPU Datacenters"를 발표했습니다.
논문의 핵심은 온라인 스케줄링에 있습니다. 미래의 작업 도착을 예측할 수 없는 상황에서 GPU 자원을 효율적으로 할당하는 문제를 다루는 것이죠. 특히, 두 가지 중요한 목표에 집중합니다. 바로 GPU 단편화 최소화와 전력 소비 감소입니다.
GPU 단편화는 GPU 자원이 부분적으로 할당되어 남은 자원을 효율적으로 사용하지 못하는 현상을 말합니다. 데이터센터가 가동률에 가까워질수록 이 문제는 더욱 심각해집니다. 연구팀은 기존의 Fragmentation Gradient Descent (FGD)라는 스케줄링 정책을 활용하여 이 문제를 해결하고자 했습니다. FGD는 GPU 단편화를 측정하는 지표를 활용하여 자원 할당을 최적화합니다.
또 다른 중요한 목표는 전력 소비 감소입니다. GPU는 상당한 전력을 소비하기 때문에 에너지 효율은 매우 중요한 문제입니다. 이를 위해 연구팀은 PWR(Power-aware scheduling) 이라는 새로운 스케줄링 정책을 제안했습니다. PWR은 전력 소비량이 적은 GPU와 CPU 조합을 선택하여 전력 사용량을 최소화합니다. Kubernetes score plugin에 전력 소비량 측정 모델을 통합하여 실현했습니다.
실제 클러스터를 모의한 광범위한 실험을 통해 연구팀은 FGD와 PWR을 결합했을 때 전력 소비 감소와 GPU 단편화 최소화 사이에서 균형 잡힌 결과를 얻을 수 있음을 보여주었습니다. 이는 AI 시대의 지속가능한 데이터센터 운영에 중요한 전환점을 제시하는 연구 성과라고 할 수 있습니다. 앞으로도 AI 발전에 따른 에너지 소비 문제를 해결하기 위한 더욱 혁신적인 기술들이 등장할 것으로 기대됩니다.
Reference
[arxiv] Power- and Fragmentation-aware Online Scheduling for GPU Datacenters
Published: (Updated: )
Author: Francesco Lettich, Emanuele Carlini, Franco Maria Nardini, Raffaele Perego, Salvatore Trani
http://arxiv.org/abs/2412.17484v1