다수 무인 항공기 공중전의 새로운 지평: 계층적 강화학습 프레임워크

본 논문은 다수 UAV 공중전을 위한 혁신적인 계층적 강화 학습 프레임워크를 제시합니다. 리더-팔로워 전략과 세 가지 레벨의 계층적 구조를 통해 6자유도 공간의 고차원적 문제를 해결하며, 시뮬레이션 실험을 통해 그 효과를 검증합니다. 이 연구는 미래 자율 무기 시스템 개발에 중요한 의미를 가집니다.

다수 무인 항공기(UAV) 공중전의 혁신적인 접근 방식

최근 항공 우주 및 인공 지능 분야에서 급부상하고 있는 다수 UAV 공중전은 그 복잡성으로 인해 많은 어려움을 안겨주었습니다. 기존 연구들은 행동 공간을 단순화하거나 1대 1 전투에만 초점을 맞춰 다수 UAV간의 협력적인 역학을 간과하는 한계를 보였습니다. Pang Jinhui 등 연구진이 발표한 논문, "리더-팔로워 전략을 이용한 다중 UAV 전투를 위한 계층적 강화 학습 프레임워크"는 이러한 문제점들을 극복하기 위한 획기적인 해결책을 제시합니다.

6자유도 공간의 고차원적 문제 해결

본 연구의 핵심은 계층적 강화 학습 프레임워크와 리더-팔로워 다중 에이전트 근접 정책 최적화(LFMAPPO) 전략의 활용입니다. 6자유도 공간의 고차원적인 문제를 해결하기 위해 세 가지 레벨로 구성된 계층적 구조를 채택했습니다.

• 상위 레벨: 환경을 거시적으로 평가하고 실행 정책을 안내합니다. 전장 상황을 종합적으로 분석하여 전략적 의사결정을 내리는 역할을 담당합니다.
• 중간 레벨: 원하는 행동의 각도를 결정합니다. 상위 레벨의 전략적 지시에 따라 구체적인 행동 방향을 설정합니다.
• 하위 레벨: 고차원 행동 공간에 대한 정밀한 행동 명령을 생성합니다. 실제 UAV의 조종을 담당하며, 정확한 기동을 수행합니다.

이러한 계층적 구조는 각 레벨의 역할을 명확히 분담하여 복잡한 의사결정 과정을 효율적으로 처리할 수 있도록 설계되었습니다. 특히, 리더-팔로워 전략을 통해 리더는 전반적인 전투 전략을 주도하고, 팔로워는 리더의 의도를 파악하여 협력적으로 행동함으로써 효율적인 팀워크를 구현합니다. 또한, UAV의 자세에 맞춰 위협 수준을 평가하는 표적 선택기를 통합하여 전투 상황에 대한 정확한 판단을 가능하게 합니다.

시뮬레이션 실험을 통한 검증

연구진은 시뮬레이션 실험을 통해 제안된 방법의 효과를 검증했습니다. 실험 결과는 제시된 계층적 강화 학습 프레임워크가 다수 UAV 공중전에서 우수한 성능을 보임을 확인시켜줍니다. 본 연구는 단순한 1대 1 전투를 넘어 다수 UAV의 협력적인 전투 전략을 구현하는 데 중요한 이정표를 제시하며, 미래의 자율 무기 시스템 개발에 큰 영향을 미칠 것으로 기대됩니다.