딥 강화 학습 훈련의 혁신: TianJi 시스템

He Zhouyu 등 연구진이 개발한 TianJi 시스템은 하위 작업 간의 할당 의존성을 완화하고 이벤트 기반 비동기 통신을 통해 DRL 훈련 속도를 획기적으로 향상시켰습니다. 실험 결과, 기존 시스템 대비 최대 4.37배의 수렴 시간 단축 효과를 보였으며, 확장성 또한 뛰어납니다.

딥 강화 학습 훈련의 속도를 높이다: TianJi 시스템 소개

최근 딥 강화 학습(DRL) 에이전트의 성능 향상에 대한 요구가 증가함에 따라, DRL 훈련의 복잡성 또한 기하급수적으로 증가하고 있습니다. 이에 따라 DRL 훈련 속도 향상은 주요 연구 과제로 떠올랐습니다. He Zhouyu 등 연구진이 개발한 TianJi 시스템은 이러한 문제에 대한 획기적인 해결책을 제시합니다.

TianJi는 DRL 훈련 과정을 여러 하위 작업으로 나누고 병렬 컴퓨팅을 활용하여 훈련 비용을 효과적으로 절감합니다. 기존 시스템의 한계점인 하위 작업 간의 데이터 할당 문제를 해결하는 데 초점을 맞춰 설계되었습니다. 이 문제는 간과되어 왔지만, TianJi는 이를 해결함으로써 훈련 효율을 더욱 향상시킵니다.

TianJi의 핵심은 하위 작업 간의 할당 의존성을 완화하고 이벤트 기반 비동기 통신을 사용하는 것입니다. 이를 통해 하위 작업 간의 경계를 명확히 유지하면서도 병렬 처리 효율을 극대화합니다. 하지만, 할당 의존성 완화로 인한 수렴성 불확실성을 해결하기 위해, TianJi는 샘플 생산과 소비의 균형에 기반한 분산 전략을 제시합니다. 이 전략은 샘플의 신선도(staleness)를 제어하여 샘플의 품질을 보정하고, 수렴성을 보장하는 역할을 합니다.

실험 결과는 TianJi의 탁월한 성능을 보여줍니다. 기존 시스템과 비교하여 최대 4.37배의 수렴 시간 단축을 달성했습니다. 8개의 컴퓨팅 노드로 확장했을 때에도 XingTian 시스템에 비해 수렴 시간은 1.6배, 처리량은 7.13배 향상되는 놀라운 결과를 보였습니다. 데이터 전송 효율 실험에서도 TianJi는 다른 시스템을 압도적으로 앞서며 하드웨어 한계에 근접한 성능을 기록했습니다. 또한, 온-폴리시 알고리즘에서도 RLlib 및 XingTian에 비해 각각 4.36배, 2.95배의 수렴 시간 단축 효과를 보였습니다. TianJi는 GitHub (https://github.com/HiPRL/TianJi.git) 에서 공개되어 있습니다.

TianJi는 단순히 속도만 향상시키는 것이 아니라, 효율성과 안정성을 동시에 확보하는 혁신적인 시스템입니다. 딥러닝 분야의 발전에 크게 기여할 것으로 예상됩니다. 앞으로 TianJi의 발전과 더욱 다양한 분야에서의 적용을 기대해 볼 수 있습니다.