희소 보상 환경에서 엔트로피 탐색 전략: 미지의 영역을 향한 AI의 도전

Ashish Sundar, Chunbo Luo, Xiaoyang Wang 연구팀은 희소 보상 환경에서의 효율적인 강화 학습을 위해 고엔트로피 상태 탐색 전략과 계층적 플래너를 활용하는 새로운 MBRL 방법을 제시했습니다. Miniworld 환경에서 기존 Dreamer 모델 대비 50% 향상된 성능을 보였습니다.

AI의 한계를 뛰어넘는 혁신적인 접근 방식

인공지능(AI) 분야에서 모델 기반 강화 학습(MBRL)은 모델 자유 강화 학습(RL)의 샘플 효율성을 높이는 데 효과적인 방법으로 주목받고 있습니다. MBRL은 미래를 예측하는 세계 모델을 학습함으로써 학습 과정을 가속화합니다. 하지만 기존 MBRL 방법들은 주로 행위자(actor)의 최적화에 집중하여, 세계 모델 자체의 학습 개선에는 소홀한 경향이 있었습니다.

Ashish Sundar, Chunbo Luo, Xiaoyang Wang 연구팀은 이러한 한계를 극복하기 위해, 세계 모델의 예측 정확도 향상과 수렴 시간 단축에 초점을 맞춘 획기적인 연구 결과를 발표했습니다. 논문 제목, "Gaze Into the Abyss -- Planning to Seek Entropy When Reward is Scarce" 에서 드러나듯, 연구팀은 보상이 부족한 상황에서도 효과적으로 학습할 수 있는 새로운 전략을 제시합니다.

고엔트로피 상태를 적극적으로 탐색하는 전략

연구팀은 단기간 잠재 예측을 사용하여 고엔트로피 상태를 예측하고 적극적으로 탐색하는 새로운 접근 방식을 제안했습니다. 이는 단순히 새로운 상태를 발견하는 데 그치는 기존의 호기심 기반 방법과는 차별화됩니다. 세계 모델이 생성한 데이터로 행위자를 훈련하는 모든 모델에 이론적으로 적용될 수 있지만, 연구팀은 개념 증명을 위해 Dreamer 모델에 적용했습니다. 그 결과, Miniworld 시뮬레이션 환경에서 기존 Dreamer보다 50% 빠른 속도로 미로를 탐색하는 성과를 달성했습니다. 더 나아가, 정책 학습에 필요한 환경 단계 수도 40% 감소시켰습니다.

계층적 플래너를 통한 동적 계획 조정

연구팀은 또한 계층적 플래너를 도입하여 계획 재수립 시점, 계획 수평선 길이, 보상과 엔트로피 간의 가중치를 동적으로 조정하는 시스템을 구축했습니다. 이를 통해, 보상이 부족한 환경에서도 효율적으로 탐색하고 학습할 수 있도록 했습니다. 이는 기존의 MPC(Model Predictive Control) 기반 방법들이 갖는 한계, 즉 매 단계마다 계획을 재생성하는 비효율성을 극복한 혁신적인 성과입니다.

결론 및 시사점

본 연구는 MBRL 분야에서 세계 모델의 중요성을 강조하고, 고엔트로피 상태 탐색 전략과 계층적 플래너를 통해 학습 효율을 획기적으로 향상시켰다는 점에서 큰 의미를 갖습니다. 이러한 성과는 앞으로 AI가 더욱 복잡하고 불확실한 환경에서도 효과적으로 학습하고 문제를 해결할 수 있는 가능성을 보여줍니다. 특히 희소 보상 문제를 해결하는 데 있어 중요한 전기를 마련할 것으로 기대됩니다.