똑같은 노력으로 더 많은 학습: 무작위화가 로봇 심층 강화 학습 에이전트의 강건성을 향상시키는 방법

본 논문은 로봇 심층 강화 학습에서 시뮬레이션 데이터의 무작위화를 통해 실제 환경 적용의 강건성을 향상시키는 방법을 제시합니다. 진보적 신경망(PNN)을 이용한 실험 결과, 무작위화를 통해 모델 정확도가 평균 25% 향상되었고, 동일한 성능을 달성하기 위한 실제 데이터 요구량이 감소했습니다.

산업 현장에서 심층 강화 학습(DRL)의 적용이 더딘 이유 중 하나는 모델 훈련에 필요한 경험 데이터 확보의 어려움 때문입니다. 데이터 수집에는 상당한 시간과 비용이 소요되기 때문이죠. 하지만 가상 환경을 활용하면 로봇을 합성 데이터로 훈련시킬 수 있습니다. 이를 통해 인공 에이전트의 표본 효율성 문제는 완화되지만, 시뮬레이션 환경에서 얻은 경험을 실제 세계로 효과적으로 전이하는(sim-to-real) 문제가 새롭게 발생합니다.

Lucía Güitta-López, Jaime Boal, Álvaro J. López-López 세 연구원이 발표한 논문 "Learning more with the same effort: how randomization improves the robustness of a robotic deep reinforcement learning agent" 에서는, 최첨단 sim-to-real 기법인 진보적 신경망(PNN)의 강건성을 분석하고, 합성 데이터에 다양성을 추가하는 방법이 어떻게 성능을 보완하는지 연구했습니다. 연구팀은 시뮬레이션 환경과 실제 환경 간의 차이에 대한 완벽한 통제를 위해, 로봇 에이전트를 가상 환경에서 테스트했습니다.

연구 결과, PNN 기반 에이전트는 실제 훈련 초기 단계에서 강건성이 크게 저하되는 것으로 나타났습니다. 하지만 시뮬레이션 기반 훈련 중 특정 변수를 무작위화함으로써 이 문제를 상당히 완화할 수 있었습니다. 훈련 과정에 다양성을 도입했을 때 모델의 정확도는 평균 25% 향상되었습니다. 이는 동일한 강건성 성능을 달성하는 데 필요한 실제 경험 데이터의 양을 줄일 수 있음을 의미합니다. 물론, 가상 경험의 질에 상관없이 실제 경험을 추가하는 것은 여전히 유익할 것입니다.

이 연구는 로봇 제어 분야에서 시뮬레이션 데이터의 활용에 대한 중요한 시사점을 제공합니다. 실제 환경에서의 데이터 수집 비용을 줄이고, 더욱 강건하고 효율적인 로봇 에이전트를 개발하는데 무작위화 기법이 중요한 역할을 할 수 있음을 보여주는 것입니다. 앞으로 로봇 학습 분야에서 시뮬레이션 데이터의 다양성 확보 및 효과적인 sim-to-real 전이 기술에 대한 연구가 더욱 활발해질 것으로 예상됩니다.