탁월한 AI 연구: Stackelberg 게임에서의 상관 정책 모방 학습

대만 연구진이 Stackelberg 게임의 비대칭적 상호작용을 고려한 새로운 AI 모델 LSDN을 개발하여 기존 모방 학습의 한계를 극복했습니다. LSDN은 상관 정책을 효과적으로 학습하여 복잡한 상호 작용 역학을 더욱 정확하게 재현합니다.

경제학과 보안 분야에서 널리 활용되는 Stackelberg 게임은 리더의 전략이 추종자의 반응을 이끄는 비대칭적 상호 작용을 다룹니다. 배드민턴과 같은 턴제 스포츠에서 전략을 최적화하는 데에도 활용될 수 있습니다.

하지만 기존의 다중 에이전트 모방 학습(MAIL) 방법들은 에이전트 간의 상호 의존적인 행동을 제대로 포착하지 못하는 어려움을 겪어왔습니다. 특히 상대방의 전략을 고려하는 상관 정책은 이러한 복잡한 상호 작용을 정확하게 모델링하는 데 필수적입니다. CoDAIL과 같은 상관 정책 학습을 위한 방법들조차도 리더와 추종자가 동시에 서로의 행동을 고려할 수 없는 Stackelberg 게임의 비대칭적 의사결정으로 인해 어려움을 겪습니다.

게다가, 점유율 측정을 일치시키거나 GAIL 또는 Inverse RL과 같은 적대적 기법을 사용하는 기존 MAIL 방법들은 특히 고차원 환경에서 확장성 문제에 직면하고, 불안정한 학습을 겪습니다.

왕광다, 셰핑춘, 펑원치 등 대만 연구진은 이러한 문제를 해결하기 위해 Stackelberg 게임에 특화된 상관 정책 점유율 측정 방식을 제안하고, 이를 일치시키기 위한 잠재 Stackelberg 미분 네트워크(LSDN) 을 도입했습니다. LSDN은 두 에이전트의 상호 작용을 공유된 잠재 상태 궤적(latent state trajectories)으로 모델링하고, 다중 출력 기하 브라운 운동(MO-GBM) 을 사용하여 결합 정책을 효과적으로 포착합니다. MO-GBM을 활용하여 LSDN은 잠재 공간에서 환경적 영향과 에이전트 주도 전이를 분리하여 상호 의존적인 정책을 동시에 학습할 수 있게 합니다. 이러한 설계는 적대적 학습의 필요성을 없애고 학습 과정을 단순화합니다.

반복 행렬 게임과 다중 에이전트 입자 환경에 대한 광범위한 실험을 통해 LSDN이 기존 MAIL 방법보다 복잡한 상호 작용 역학을 더 잘 재현할 수 있음을 보여주었습니다. 이 연구는 Stackelberg 게임과 같은 복잡한 상호 작용 시스템에서 AI의 응용 가능성을 크게 높일 것으로 기대됩니다. 특히, 게임 이론, 경제 모델링, 보안 시스템 등 다양한 분야에 파급 효과를 가져올 수 있습니다.