딥다이브: 수중 자율주행 군집 제어의 혁신

이탈리아와 스페인 연구진이 수중 음향 추적을 위한 다수의 자율 주행 차량 제어에 강화 학습을 적용, 반복적 증류법과 Transformer 기반 아키텍처를 통해 샘플 효율성 문제를 해결하고 고성능 시뮬레이션을 달성하여 실제 해양 임무 적용 가능성을 입증했습니다.

최근, 이탈리아와 스페인 연구진(Matteo Gallici, Ivan Masmitja, Mario Martín)이 발표한 논문 "Scaling Multi Agent Reinforcement Learning for Underwater Acoustic Tracking via Autonomous Vehicles"는 수중 음향 추적 분야에 혁신적인 발전을 가져올 가능성을 제시합니다. 수중 과학 임무에 비용 효율적인 솔루션으로 떠오르고 있는 자율 주행 차량(AV) 제어에 강화 학습(RL)을 적용, 특히 다수의 자율 주행 차량을 이용한 다중 목표 추적에 초점을 맞추고 있습니다.

하지만, 다수 에이전트 강화 학습(MARL)은 샘플 효율이 낮다는 고질적인 문제에 직면합니다. 기존의 고충실도 시뮬레이터(Gazebo's LRAUV)는 단일 로봇 시뮬레이션 속도를 100배 향상시키지만, 다중 차량 시나리오에서는 속도 향상이 미미하여 MARL 훈련에 어려움을 겪었습니다.

연구진은 이러한 한계를 극복하기 위해 두 가지 핵심 기술을 제시했습니다. 첫째, **'반복적 증류법'**을 통해 고충실도 시뮬레이션을 단순화된 GPU 가속 환경으로 전환하여 Gazebo보다 최대 30,000배 빠른 속도를 달성했습니다. 둘째, 에이전트 및 목표 수에 관계없이 다중 에이전트 정책을 학습하는 Transformer 기반 아키텍처(TransfMAPPO) 를 개발하여 샘플 효율성을 크게 향상시켰습니다.

전적으로 GPU에서 수행된 대규모 커리큘럼 학습 이후, Gazebo에서 광범위한 평가를 실시한 결과, 여러 개의 빠르게 움직이는 목표물이 존재하는 상황에서도 장시간 동안 추적 오류를 5미터 이내로 유지하는 성과를 달성했습니다. 이는 대규모 MARL 훈련과 고충실도 배포 간의 격차를 해소하고, 실제 해양 임무에서 자율 주행 차량 군집 제어를 위한 확장 가능한 프레임워크를 제공한다는 점에서 큰 의미를 지닙니다. 본 연구는 수중 탐사 및 감시, 해양 자원 관리 등 다양한 분야에 파급 효과를 미칠 것으로 기대됩니다.

결론적으로, 이번 연구는 MARL의 실제 세계 적용 가능성을 한층 높였다는 점에서 주목할 만합니다. 고성능 시뮬레이션과 효율적인 알고리즘의 결합을 통해, 수중 자율주행 기술의 발전과 해양 탐사의 새로운 지평을 열 것으로 예상됩니다. 앞으로 이 기술이 실제 해양 환경에 적용되어 더욱 정교하고 효율적인 수중 탐사 및 추적 임무 수행에 기여할 수 있기를 기대합니다.