뛰어넘는 시야: 국소적으로 상호 의존적인 다 에이전트 MDP를 위한 근최적 정책 프레임워크

Alex DeWeese와 Guannan Qu의 연구는 국소적으로 상호 의존적인 다 에이전트 MDP를 위한 근최적 정책 프레임워크를 제시하여, 가시성이 제한적인 상황에서도 최적에 가까운 성능을 달성하는 확장된 컷오프 정책 클래스를 도입했습니다. 이는 다양한 협력적 다 에이전트 시스템에 적용 가능성을 보여주는 획기적인 연구입니다.

Alex DeWeese와 Guannan Qu는 2024년 연구에서 분산형 부분 관측 마르코프 결정 과정(Dec-POMDPs)의 어려움을 해결하는 획기적인 연구 결과를 발표했습니다. Dec-POMDPs는 협력적 내비게이션, 장애물 회피, 편대 제어 등 다양한 분야에서 활용되는 모델이지만, 계산 복잡도가 매우 높아 실제 적용에 어려움이 있었습니다.

그들의 연구는 국소적으로 상호 의존적인 다 에이전트 MDP(Locally Interdependent Multi-Agent MDP)라는 새로운 모델을 제시하며, 이를 통해 가시성(visibility)과 국소적 의존성(local dependencies)에 대한 합리적인 가정을 도입합니다. 이 가정 하에, 그들은 여러 상황에서 계산 가능한 세 가지 폐쇄형 정책을 제시하고, 가시성에 대해 지수적으로 최적에 가까운 성능을 보임을 증명했습니다.

하지만 기존의 접근 방식은 가시성이 작고 고정된 경우 성능이 저하되는 'Penalty Jittering' 현상을 보였습니다. 이 문제를 해결하기 위해, DeWeese와 Qu는 확장된 컷오프 정책 클래스(Extended Cutoff Policy Class) 를 제안합니다. 이는 가시성이 제한적인 상황에서도 최적에 가까운 성능을 보장하는 최초의 비자명적(non-trivial) 폐쇄형 부분 관측 정책 클래스입니다.

가장 흥미로운 점은 이 정책이 에이전트의 가시 범위를 넘어 다른 에이전트를 '기억'할 수 있다는 것입니다. 이를 통해 작고 고정된 가시성 설정에서 성능을 크게 향상시키고, Penalty Jittering 현상을 해결하며, 특정 상황에서는 부분 관측에도 불구하고 완전 관측 조건에서의 최적 행동을 보장합니다. 더 나아가, 그들은 전이 의존성(transition dependence)과 확장된 보상 의존성(extended reward dependence)을 허용하는 국소적으로 상호 의존적인 다 에이전트 MDP의 일반화된 형태를 제안하고, 이 설정에서도 이론적 결과를 재현했습니다.

이 연구는 다 에이전트 시스템의 설계 및 제어에 대한 새로운 가능성을 열어줍니다. 특히 자율 주행 자동차, 로봇 협업, 드론 편대 운용 등의 분야에서 획기적인 발전을 가져올 것으로 기대됩니다. 앞으로 이 연구를 기반으로 더욱 발전된 알고리즘과 응용 연구가 활발하게 진행될 것으로 예상됩니다.