혁신적인 로봇 학습: Policy Decorator로 대규모 정책 모델 개선하다
Xiu Yuan 등 연구팀이 개발한 Policy Decorator는 대규모 모방 학습 모델의 온라인 개선을 위한 혁신적인 기술로, 제어된 탐색 전략을 통해 안정적이고 효율적인 학습을 가능하게 합니다. ManiSkill과 Adroit 벤치마크에서 우수한 성능을 검증받았으며, 향후 로봇 학습 분야의 발전에 크게 기여할 것으로 예상됩니다.

최근 로봇 학습 분야는 대규모 모델과 방대한 데모 데이터를 활용한 모방 학습의 발전으로 효과적인 정책을 개발하는 데 성공했습니다. 하지만 이러한 모델들은 데모 데이터의 양, 질, 다양성에 제한을 받는다는 한계점을 가지고 있습니다. Xiu Yuan 등 6명의 연구원이 발표한 논문 "Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model" 은 이러한 문제를 해결하기 위해 온라인 환경과의 상호 작용을 통해 오프라인으로 학습된 모방 학습 모델을 개선하는 방법을 제시합니다.
핵심은 바로 'Policy Decorator' 입니다. 이 모델 독립적인 잔차 정책(residual policy)을 사용하여 대규모 모방 학습 모델을 온라인 상호 작용 중에 정밀하게 조정합니다. 단순히 말해서, 이미 잘 학습된 모델에 추가적인 학습을 통해 더욱 완벽하게 만드는 기술이라고 볼 수 있습니다. 특히, 제어된 탐색 전략(controlled exploration strategies)을 구현하여 안정적이고 샘플 효율적인 온라인 학습을 가능하게 합니다. 이는 무작정 탐색하는 것이 아니라, 효과적인 탐색을 통해 학습 효율을 극대화하는 전략을 의미합니다.
연구팀은 ManiSkill과 Adroit라는 두 가지 벤치마크에서 8가지 작업을 통해 Behavior Transformer와 Diffusion Policy라는 두 가지 최첨단 모방 학습 모델을 대상으로 Policy Decorator의 성능을 평가했습니다. 그 결과, Policy Decorator가 오프라인으로 학습된 정책을 효과적으로 개선하고, 순수 강화 학습(RL) 정책의 불규칙적인 동작을 피하면서 모방 학습 모델의 부드러운 움직임을 유지한다는 것을 확인했습니다. 더 자세한 내용은 프로젝트 페이지 (https://policydecorator.github.io)에서 확인할 수 있으며, 실제 로봇 동작 영상도 제공하고 있습니다.
이 연구는 대규모 모델 기반 모방 학습의 한계를 극복하고, 더욱 안정적이고 효율적인 로봇 학습 시스템을 구축하는 데 중요한 발걸음을 내딛은 것으로 평가받고 있습니다. 데이터의 질적 한계를 온라인 학습으로 극복하고, 모델의 성능을 향상시키는 동시에 부드러운 동작을 유지한다는 점에서 높은 실용적 가치를 지닌다고 볼 수 있습니다. 앞으로 Policy Decorator가 다양한 로봇 제어 및 학습 분야에 적용되어 더욱 발전된 로봇 기술을 만드는 데 기여할 것으로 기대됩니다.
Reference
[arxiv] Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model
Published: (Updated: )
Author: Xiu Yuan, Tongzhou Mu, Stone Tao, Yunhao Fang, Mengke Zhang, Hao Su
http://arxiv.org/abs/2412.13630v1