혁신적인 강화학습 알고리즘 MaxEntDP: 확산 정책으로 복잡한 환경 정복

Xiaoyi Dong, Jian Cheng, Xi Sheryl Zhang 연구팀이 개발한 MaxEntDP는 Diffusion Model을 활용하여 기존 Gaussian Policy의 한계를 극복한 MaxEnt RL 알고리즘입니다. Mujoco 벤치마크에서 우수한 성능을 보이며, 복잡한 환경에서의 효율적인 탐색과 최적 정책 도달에 기여합니다.

최근 강화학습 분야에서 최대 엔트로피 강화학습(MaxEnt RL)이 주목받고 있습니다. MaxEnt RL은 엔트로피 최대화를 통해 탐험(Exploration)을 장려하고 정책의 강건성을 향상시키는 것을 목표로 합니다. 일반적으로 Gaussian Policy를 사용하는 Soft Actor-Critic (SAC) 알고리즘이 MaxEnt RL을 구현하는 주된 방법으로 자리 잡았습니다.

하지만 Gaussian Policy는 단봉성(Unimodality)이라는 한계를 가지고 있습니다. 단봉성이란, 확률 분포가 하나의 봉우리만 가지는 것을 의미하며, 이는 복잡한 다목표 강화학습 환경에서 효율적인 탐색을 제한합니다. 단순한 작업에서는 효과적이지만, 복잡한 상황에서는 다양한 가능성을 탐색하는 데 어려움을 겪는 것입니다.

Dong, Cheng, Zhang 세 연구자는 이러한 문제를 해결하기 위해 Diffusion Model을 활용한 새로운 MaxEnt RL 알고리즘 MaxEntDP (MaxEnt RL with Diffusion Policy) 를 개발했습니다. Diffusion Model은 복잡한 다봉성 분포를 효과적으로 표현할 수 있는 강력한 생성 모델입니다. MaxEntDP는 Diffusion Model을 정책 표현으로 사용하여 MaxEnt RL 목표를 달성합니다. 이를 통해 효율적인 탐색을 가능하게 하고 최적의 MaxEnt 정책에 더욱 근접할 수 있습니다.

Mujoco 벤치마크를 이용한 실험 결과는 MaxEntDP의 우수성을 입증합니다. MaxEntDP는 기존 Gaussian Policy 및 다른 생성 모델 기반 MaxEnt RL 알고리즘들을 능가하는 성능을 보였으며, 다른 최첨단 확산 기반 온라인 강화학습 알고리즘과도 비슷한 수준의 성능을 달성했습니다. 더욱 놀라운 것은, 복잡한 환경에서도 뛰어난 탐색 능력을 보였다는 점입니다. 이는 다봉성 분포를 잘 표현하는 Diffusion Model을 활용한 결과로 해석됩니다.

연구팀은 MaxEntDP의 코드를 GitHub(https://github.com/diffusionyes/MaxEntDP)에 공개하여 다른 연구자들의 활용을 지원하고 있습니다. MaxEntDP는 강화학습 분야의 혁신적인 발전으로, 더욱 복잡하고 다양한 환경에서의 강화학습 문제 해결에 기여할 것으로 기대됩니다. Gaussian Policy의 한계를 뛰어넘는 MaxEntDP의 등장은 강화학습의 새로운 지평을 열었습니다.