외부 간섭에도 끄떡없는 드론 제어: 국내 연구진, 혁신적 강화학습 알고리즘 개발

이화여대 연구팀이 개발한 RDPG는 외부 간섭에 강인한 제어 정책을 효율적으로 학습하는 강화학습 알고리즘입니다. 무인 항공기 제어 실험에서 기존 방법보다 우수한 성능을 보였으며, 자율주행 및 로봇 제어 등 다양한 분야에 적용될 것으로 기대됩니다.

실제 제어 시스템은 시스템 모델의 불확실성과 외부 간섭으로 인해 최적 제어 정책을 찾는 데 어려움을 겪습니다. 기존의 $H_\infty$ 제어 기법은 이러한 간섭을 완화하는 강인한 제어기를 설계하지만, 복잡하고 계산량이 많다는 단점이 있습니다.

이러한 문제를 해결하기 위해 이화여대 연구팀(이태호, 이동환)은 강화학습 알고리즘인 강인한 확정적 정책 경사(Robust Deterministic Policy Gradient, RDPG) 를 제안했습니다. RDPG는 $H_\infty$ 제어 문제를 두 플레이어의 제로섬 동적 게임으로 공식화합니다. 한 플레이어(사용자)는 비용을 최소화하고, 다른 플레이어(적대자)는 비용을 최대화하려고 시도하는 구조입니다.

연구팀은 확정적 정책 경사(DPG)와 심층 강화학습을 이용하여 효과적인 간섭 감쇠 기능을 갖춘 강인한 제어 정책을 학습시키는 알고리즘을 개발했습니다. 특히, 강인한 심층 확정적 정책 경사(Robust Deep Deterministic Policy Gradient, RDDPG) 는 심층 신경망 아키텍처를 사용하고, TD3(Twin-Delayed Deep Deterministic Policy Gradient)의 기법을 통합하여 안정성과 학습 효율을 높였습니다.

제안된 알고리즘의 성능을 평가하기 위해, 연구팀은 외부 간섭이 많은 환경에서 미리 정의된 경로를 따라가는 무인 항공기(UAV) 제어에 RDDPG를 적용했습니다. 실험 결과, RDDPG는 다른 제어 방법보다 외부 간섭에 대한 강인성이 뛰어나 심각한 간섭 조건에서도 움직이는 목표물을 정밀하게 실시간으로 추적하는 것을 확인했습니다.

이는 외부 환경 변화에 민감한 드론 제어 분야에 획기적인 발전이며, 자율주행, 로봇 제어 등 다양한 분야에도 적용 가능성을 제시하는 중요한 연구 성과입니다. 향후 이러한 연구를 통해 더욱 안전하고 효율적인 자율 시스템 개발에 기여할 것으로 기대됩니다.