드론 배구 시대의 개막: VolleyBots, 새로운 MARL 시험대 등장

VolleyBots는 드론을 이용한 배구 경기를 통해 다중 에이전트 강화 학습(MARL) 알고리즘을 평가하는 새로운 시험대입니다. 실제 드론의 물리적 제약을 고려한 고충실도 시뮬레이션과 다양한 과제를 제공하며, 시뮬레이션에서 학습된 정책을 실제 드론에 제로샷으로 배포하는 데 성공했습니다. 이는 MARL 연구에 새로운 가능성을 제시하는 중요한 발전입니다.

최근, 다중 에이전트 강화 학습(MARL) 분야에서 괄목할 만한 발전이 이루어지고 있습니다. 이러한 발전의 원동력 중 하나는 제어된 환경에서 알고리즘을 체계적으로 평가할 수 있는 특수한 시험대의 개발입니다. 하지만 기존의 시험대는 주로 가상 시뮬레이션이나 로봇 팔, 사족 보행 로봇, 휴머노이드와 같은 제한적인 로봇 형태에 초점을 맞춰 왔습니다. 드론과 같이 실제 세계의 물리적 제약을 가진 고기동성 플랫폼은 상대적으로 연구가 부족했습니다.

이러한 한계를 극복하기 위해, Xu Zelai 등 연구진이 개발한 VolleyBots가 등장했습니다. VolleyBots는 여러 대의 드론이 배구 경기를 통해 협력하고 경쟁하는 새로운 MARL 시험대입니다. 단순한 시뮬레이션을 넘어, 실제 드론의 물리적 특성을 반영하여 더욱 현실적인 연구 환경을 제공합니다.

VolleyBots의 주요 특징:

• 턴 기반 상호 작용 모델: 배구 규칙을 기반으로 턴 방식으로 진행되어 드론 간의 상호 작용을 명확하게 합니다.
• 계층적 의사 결정 과정: 저수준의 동작 제어와 고수준의 전략적 플레이를 결합하여 더욱 복잡하고 현실적인 의사 결정을 요구합니다.
• 고충실도 시뮬레이션: 실제 드론과 유사한 동작을 시뮬레이션하여 시뮬레이션 결과를 실제 환경에 적용하는 sim-to-real 전환을 용이하게 합니다.

다양한 과제와 알고리즘 평가:

VolleyBots는 단일 드론 훈련부터 다중 드론 협력 및 경쟁 과제까지 다양한 수준의 과제를 제공합니다. 연구진은 대표적인 MARL 및 게임 이론 알고리즘을 사용하여 이러한 과제에 대한 기준 평가를 수행했습니다. 흥미롭게도, 기존 알고리즘은 단순한 과제에서는 효과적이었지만, 저수준 제어와 고수준 전략이 동시에 필요한 복잡한 과제에서는 어려움을 겪는 것으로 나타났습니다.

실제 드론으로의 제로샷 배포:

더욱 놀라운 것은, 시뮬레이션에서 학습된 정책을 실제 드론에 제로샷(Zero-shot) 으로 배포하는 데 성공했다는 점입니다. 이는 VolleyBots가 시뮬레이션 환경에서 얻은 결과를 실제 환경에 직접 적용할 수 있음을 보여주는 중요한 결과입니다.

VolleyBots는 민첩한 로봇 플랫폼을 포함하는 MARL 연구를 촉진할 잠재력을 가지고 있습니다. 드론 배구라는 독특한 설정을 통해, MARL 알고리즘의 한계와 발전 가능성을 더욱 명확하게 보여주는 중요한 이정표가 될 것으로 기대됩니다. 자세한 내용은 프로젝트 페이지 (https://sites.google.com/view/volleybots/home)를 참조하십시오.