NotebookOS: 주문형 GPU를 활용한 대화형 학습을 위한 혁신적인 노트북 운영체제

NotebookOS는 분산 GPU 서버와 복제된 노트북 커널을 활용하여 GPU 활용률을 극대화하고 대화형 딥러닝 훈련의 상호작용성을 향상시키는 혁신적인 플랫폼입니다. 실제 워크로드 평가 결과, 상당한 GPU 시간 절약 효과를 보였습니다.

머신러닝과 AI의 혁명: NotebookOS 등장

현대 머신러닝(ML)과 인공지능(AI) 워크플로우에서 대화형 노트북 프로그래밍은 필수적입니다. Jupyter나 Google Colab과 같은 노트북 소프트웨어는 사용자 친화적인 대화형 웹 기반 프로그래밍 인터페이스를 제공하며, 과학 및 공학 분야 전반에 걸쳐 널리 사용되고 있습니다. 특히, 대화형 딥러닝 훈련(IDLT)에서 그 중요성이 더욱 부각됩니다.

하지만 기존의 노트북 플랫폼은 상호작용성을 보장하기 위해 활성화된 노트북 세션 내에서 GPU 자원을 예약하는 방식을 사용합니다. 이러한 노트북 세션은 장시간 실행되지만, GPU 사용은 간헐적이고 산발적입니다. 결과적으로, 대부분의 시간 동안 예약된 GPU를 사용하지 않아 GPU 활용률이 매우 낮고 비용이 과다하게 발생하는 문제가 있습니다.

NotebookOS: GPU 효율 혁신

Benjamin Carver 등 연구진이 개발한 NotebookOS는 이러한 문제를 해결하기 위해 등장했습니다. NotebookOS는 IDLT의 고유한 요구사항을 충족하도록 설계된 GPU 효율적인 노트북 플랫폼입니다. 핵심은 복제된 노트북 커널 설계입니다. 각 커널은 별도의 GPU 서버에 분산된 세 개의 복제본으로 구성되며, Raft를 통해 동기화됩니다.

NotebookOS는 IDLT 워크로드의 상대적으로 높은 작업 간 도착 시간을 활용하여 커널 복제를 통해 서버 자원을 초과 할당합니다. 노트북 셀 작업 제출 시에만 커널 복제본에 GPU를 동적으로 할당하여 즉각적인 대화형 훈련 가능성을 극대화합니다. 또한, 커널 복제본을 마이그레이션하고 과부하 조건에서 GPU 클러스터를 자동으로 확장하는 기능도 제공합니다.

놀라운 성과: 1,187시간 이상의 GPU 시간 절약

실제 환경의 IDLT 워크로드를 사용한 평가 결과는 놀랍습니다. NotebookOS는 17.5시간의 실제 IDLT 워크로드에서 1,187시간 이상의 GPU 시간을 절약하면서 상호작용성을 크게 향상시켰습니다. 이는 GPU 자원을 효율적으로 관리하고, 비용을 절감하며, 동시에 사용자 경험을 향상시킨다는 것을 의미합니다. NotebookOS는 단순한 기술적 진보를 넘어, AI 연구 및 개발의 패러다임을 바꿀 잠재력을 지닌 혁신적인 플랫폼입니다. 앞으로 이 기술이 더욱 발전하여 AI 연구의 생산성과 효율성을 더욱 높일 것으로 기대됩니다.

(참고) Raft는 분산 시스템에서 데이터 일관성을 유지하는 합의 알고리즘입니다.