꿈꾸는 인공지능: 다중 감각 세계 모델과 강화 학습의 만남

프랑스 연구진이 Global Workspace 이론과 세계 모델을 결합한 GW-Dreamer를 제시하여 RL 에이전트의 학습 효율과 강건성을 향상시켰습니다. 다중모드 정보 처리를 통해 환경 단계 감소 및 관측 모드 결여에 대한 강건성을 달성했습니다.

인간은 세상을 풍부하게 이해하는 내적 모델을 활용하여 미래를 예측하고, 가정을 설정하며, 새로운 상황에 유연하게 적응합니다. 강화학습(Reinforcement Learning, RL)에서 세계 모델(world model)은 에이전트의 행동에 대한 환경의 반응을 포착하여 계획 수립과 일반화를 용이하게 합니다. 하지만 기존 세계 모델은 픽셀이나 물리적 속성과 같은 환경 변수를 직접 처리하여 학습이 느리고 복잡한 단점이 있습니다.

프랑스 연구진 Léopold Maytié, Roland Bertin Johannet, Rufin VanRullen은 다중모드(Multimodal) 변수를 포착하는 고차원 잠재 차원에 의존하는 것이 유리할 수 있다는 점에 주목했습니다. 그들은 인간의 뇌에서 다중 감각 정보 통합 및 정보 전파에 대한 인지적 틀인 Global Workspace (GW) 이론을 딥러닝에 접목하는 혁신적인 시도를 선보였습니다.

연구진이 개발한 GW-Dreamer는 GW와 세계 모델을 결합한 RL 시스템입니다. 기존의 PPO와 Dreamer 알고리즘과 비교 실험을 통해 GW-Dreamer가 잠재 공간 내에서 '꿈꾸는' 과정(정신적 시뮬레이션) 을 수행함으로써 환경 단계(environment steps)를 줄여 학습 효율을 높인다는 것을 보여주었습니다. 놀랍게도, GW-Dreamer는 이미지 또는 시뮬레이션 속성 중 하나의 관측 모드가 없더라도 강건성을 유지했습니다. 이는 기존 알고리즘에서는 관찰되지 않은 현상입니다.

이 연구는 GW와 세계 모델의 결합이 RL 에이전트의 의사 결정 개선에 큰 잠재력을 가지고 있음을 시사합니다. 다중 감각 정보를 효율적으로 처리하고, 예측 불가능한 상황에도 견딜 수 있는 강인한 AI 개발에 중요한 이정표가 될 것으로 기대됩니다. 앞으로 더욱 발전된 GW 기반의 세계 모델 연구를 통해 인간 수준의 지능을 가진 AI 개발에 한 발짝 더 다가갈 수 있을 것입니다. 다만, GW-Dreamer의 강건성이 어떤 메커니즘에 의해 발생하는지에 대한 추가 연구가 필요합니다. 또한, 다양한 환경에 대한 일반화 성능을 더욱 검증해야 할 것입니다.