정책 비의존적 강화학습(PA-RL): 한계를 넘어선 AI 학습의 새로운 지평
정책 비의존적 강화학습(PA-RL)은 다양한 정책 클래스와 아키텍처에 적용 가능한 새로운 강화학습 기법으로, 오프라인 학습과 온라인 미세 조정을 통해 기존 방법보다 성능과 샘플 효율성을 크게 향상시킵니다. 실제 로봇 제어 실험에서도 효과를 입증하여, 다양한 분야에 혁신적인 발전을 가져올 잠재력을 가지고 있습니다.

최근 의사결정 정책 학습 분야의 발전은 모방 학습을 통한 표현력 있는 정책 모델 훈련에 크게 기인합니다. 하지만 모방 학습은 비전문가 데이터를 버리는 반면, 강화학습(RL)은 비최적 데이터로부터도 학습할 수 있습니다. 그러나 새로운 정책 클래스의 RL 훈련은 또 다른 어려움을 제시합니다. 대부분의 심층 RL 기법은 정책 클래스와 백본에 대한 가정과 함께 개발되어 정책 클래스가 변경될 때 성능이 저하됩니다. 예를 들어, SAC는 가우시안 정책에 대한 저분산 재매개변수화 정책 경사를 사용하지만, 확산 정책에서는 불안정하고 자동 회귀 범주형 정책에서는 다루기 어렵습니다.
Max Sobol Mark 등 연구진은 이러한 문제를 해결하기 위해 다양한 아키텍처와 크기의 여러 정책 클래스를 효과적으로 훈련할 수 있는 오프라인 RL 및 온라인 미세 조정 접근 방식인 정책 비의존적 RL(PA-RL) 을 개발했습니다. PA-RL은 보편적인 지도 학습 손실이 '최적화된' 작업에 적용되는 한 RL에서 정책 개선 단계를 대체할 수 있다는 기본적인 아이디어를 기반으로 합니다. 이러한 최적화된 작업을 얻기 위해, 연구진은 먼저 기본 정책에서 여러 작업을 샘플링하고, 전역 최적화(즉, Q-함수를 사용하여 여러 작업 샘플을 재순위 지정)와 지역 최적화(즉, 작업 샘플에서 경사 단계 실행)를 실행하여 이러한 후보에 대한 비평가를 극대화합니다.
PA-RL은 자동 회귀 토큰 또는 연속 작업 출력을 사용하여 크기가 다른 확산 및 변압기 정책의 미세 조정을 액터-비평가 RL을 통해 수행할 수 있습니다. 또한, PA-RL은 기존의 오프라인 RL 및 온라인 미세 조정 방법에 비해 성능과 샘플 효율성을 최대 2배까지 향상시킵니다. 연구진은 7B 일반 로봇 정책인 OpenVLA를 온라인 RL 미세 조정 알고리즘인 Cal-QL을 사용하여 자율적으로 미세 조정하는 최초의 결과를 보여주었습니다. 실제 세계에서 40분 만에 40%에서 70%로 개선되었습니다.
PA-RL은 다양한 정책 클래스와 아키텍처에 대한 유연성, 향상된 성능 및 샘플 효율성, 그리고 실제 세계 적용 가능성을 통해 강화학습 분야에 혁신적인 발전을 가져올 것으로 기대됩니다. 이는 로봇 제어, 자율 주행, 게임 AI 등 다양한 분야에 광범위한 영향을 미칠 수 있습니다. 그러나 PA-RL의 더욱 광범위한 적용과 안정성 확보를 위한 추가 연구가 필요합니다. 특히, 대규모 모델의 훈련 및 배포에 따른 비용 및 자원 효율성에 대한 고려가 중요합니다.
Reference
[arxiv] Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone
Published: (Updated: )
Author: Max Sobol Mark, Tian Gao, Georgia Gabriela Sampaio, Mohan Kumar Srirama, Archit Sharma, Chelsea Finn, Aviral Kumar
http://arxiv.org/abs/2412.06685v1