목표 지향적 로봇 탐사의 혁신: CTSAC 알고리즘의 등장

양춘유 등 연구진이 개발한 CTSAC 알고리즘은 변압기와 커리큘럼 학습을 활용하여 로봇 탐사의 효율성과 실제 환경 적용성을 크게 향상시켰습니다. ROS-Gazebo 시뮬레이션과 LiDAR 최적화를 통해 실험적으로 검증된 CTSAC는 기존 알고리즘보다 우수한 성능을 보이며, 자율 로봇 기술 발전에 중요한 기여를 할 것으로 예상됩니다.

자율 로봇 탐사 분야에서 효율적이고 유연한 솔루션에 대한 요구가 증가함에 따라, 강화학습(Reinforcement Learning, RL)이 주목받고 있습니다. 하지만 기존 RL 기반 탐사 알고리즘은 환경 추론 능력의 한계, 느린 수렴 속도, 그리고 시뮬레이션-실제 환경 전이(Sim-To-Real, S2R)의 어려움에 직면해 왔습니다.

양춘유, 비성번, 서이휘, 장신 등 연구진은 이러한 문제를 해결하기 위해 커리큘럼 학습 기반 변압기 강화학습 알고리즘(Curriculum Learning-based Transformer Reinforcement Learning Algorithm, CTSAC) 을 제안했습니다. CTSAC는 탐사 효율과 전이 성능을 모두 향상시키는 것을 목표로 합니다.

핵심 기술: 변압기(Transformer)와 커리큘럼 학습의 조화

CTSAC의 핵심은 로봇의 추론 능력 향상에 있습니다. 연구진은 소프트 액터-크리틱(Soft Actor-Critic, SAC) 프레임워크의 인지 네트워크에 변압기(Transformer) 를 통합하여, 과거 정보를 활용함으로써 로봇의 전략적 사고 능력을 향상시켰습니다. 단순히 현재 상황만 고려하는 것이 아니라, 과거 경험을 바탕으로 장기적인 계획을 세울 수 있도록 한 것입니다.

또한, 주기적 검토 기반의 커리큘럼 학습을 도입하여 훈련 효율을 높이고 커리큘럼 전환 과정에서 발생할 수 있는 치명적인 망각 현상을 완화했습니다. 이는 마치 사람이 학습 과정에서 쉬운 과제부터 어려운 과제로 단계적으로 학습하는 것과 유사합니다.

실제 환경 적용을 위한 노력: ROS-Gazebo와 LiDAR 최적화

CTSAC 알고리즘은 ROS-Gazebo 연속 로봇 시뮬레이션 플랫폼에서 훈련되었습니다. 더 나아가, LiDAR 클러스터링 최적화를 통해 시뮬레이션 환경과 실제 환경 간의 차이를 줄이는 데 집중했습니다. 이는 시뮬레이션에서 얻은 학습 결과를 실제 로봇에 효과적으로 적용하기 위한 중요한 노력입니다.

놀라운 결과: 최첨단 알고리즘 뛰어넘다

실험 결과, CTSAC 알고리즘은 성공률과 성공률 가중 탐사 시간 측면에서 기존의 비학습 기반 및 학습 기반 알고리즘을 능가하는 성능을 보였습니다. 뿐만 아니라, 실제 로봇 실험을 통해 CTSAC의 강력한 S2R 전이 능력을 검증했습니다. 이는 시뮬레이션 환경에서 학습된 로봇이 실제 환경에서도 성공적으로 작동할 수 있음을 의미하는 중요한 결과입니다.

CTSAC 알고리즘은 목표 지향적 로봇 탐사 분야에 새로운 가능성을 제시하며, 향후 더욱 발전된 자율 로봇 시스템 개발에 기여할 것으로 기대됩니다.