AI 기반 항공 전투 전술의 혁신: 계층적 다중 에이전트 강화학습의 등장

본 연구는 계층적 다중 에이전트 강화학습을 활용하여 항공 전투 시뮬레이션에서 효과적인 작전 방침을 도출하는 방법을 제시합니다. 계층적 구조를 통해 복잡한 다중 에이전트 시스템의 학습 문제를 해결하고 실제 전투 시나리오 적용 가능성을 높였습니다. 하지만 실제 환경의 불확실성에 대한 추가 연구가 필요합니다.

최근 Ardian Selmonaj 등 6명의 연구원이 발표한 논문 "Enhancing Aerial Combat Tactics through Hierarchical Multi-Agent Reinforcement Learning"은 AI를 활용하여 항공 전투 전술을 혁신적으로 개선하는 방법을 제시합니다. 이 연구는 시뮬레이션 기반의 항공 전투 시나리오에서 이종 에이전트(heterogeneous agents)를 사용하여 효과적인 작전 방침(Courses of Action)을 찾는 것을 목표로 합니다. 이는 실제 전투 상황을 저렴하고 안전하게 시뮬레이션하여 분석할 수 있는 획기적인 접근입니다.

하지만, 이러한 접근에는 복잡한 비행 역학, 다중 에이전트 시스템에서의 기하급수적으로 증가하는 상태 및 행동 공간, 그리고 실시간 개별 유닛 제어와 미래 예측 계획을 통합하는 능력 등의 어려움이 존재합니다. 연구팀은 이러한 문제를 해결하기 위해 계층적 구조를 도입했습니다.

계층적 의사결정 과정은 저수준 정책(low-level policies)과 고수준 지휘관 정책(high-level commander policy)으로 나뉩니다. 저수준 정책은 개별 유닛의 제어를 담당하고, 고수준 지휘관 정책은 전체 미션 목표에 맞는 거시적인 명령을 내립니다. 이러한 계층적 구조는 개별 에이전트의 정책 대칭성을 활용하고 제어 작업과 명령 작업을 분리함으로써 학습 과정을 크게 향상시킵니다. 저수준 정책은 점진적으로 복잡성을 높여가는 커리큘럼(curriculum)을 통해 훈련되고, 고수준 지휘관 정책은 사전 훈련된 제어 정책을 기반으로 미션 목표에 대해 훈련됩니다.

실험 결과는 제안된 프레임워크의 장점을 확인했습니다. 이 연구는 단순한 시뮬레이션을 넘어 실제 세계의 복잡한 항공 전투 환경에 적용 가능한 AI 기반 전술 개발의 가능성을 보여주는 중요한 사례로 평가받을 만합니다. 이는 미래의 항공 전투 시스템 설계 및 전술 발전에 큰 영향을 미칠 것으로 예상됩니다. 하지만, 실제 전투 환경의 불확실성과 변수들을 얼마나 정확하게 반영할 수 있을지에 대한 추가적인 연구가 필요할 것입니다.