SLAC: 시뮬레이션으로 사전 훈련된 잠재 행동 공간을 활용한 실제 세계 강화학습

SLAC은 저품질 시뮬레이터를 활용한 사전 훈련을 통해 고차원 자유도 로봇의 실제 세계 강화학습을 가능하게 하는 혁신적인 방법입니다. 실험 결과, SLAC은 1시간 이내의 실제 상호작용으로 복잡한 작업을 학습하며 기존 방법보다 우수한 성능을 보였습니다. 이는 로봇 제어 분야의 획기적인 발전이며, 산업 자동화 및 서비스 로봇 분야에 긍정적인 영향을 미칠 것으로 예상됩니다.

로봇 제어의 혁신: SLAC의 등장

가정용 및 산업용 로봇의 발전에는 모바일 매니퓰레이터와 같은 다양하고 고차원의 자유도(DoF) 시스템을 제어하는 기술이 필수적입니다. 강화학습(Reinforcement Learning, RL)은 로봇 제어 정책을 자율적으로 습득할 수 있는 가능성을 제시하지만, 고차원 DoF 시스템으로 확장하는 것은 여전히 어려운 과제입니다. 실제 환경에서의 직접적인 RL은 안전한 탐색과 높은 샘플 효율성을 모두 필요로 하며, 이는 실제로 달성하기 어렵습니다. 반면, 시뮬레이션 기반 RL(Sim-to-real RL)은 현실과의 차이로 인해 종종 불안정합니다.

SLAC: 현실 세계 RL의 새로운 지평

이러한 문제를 해결하기 위해 Jiaheng Hu, Peter Stone, Roberto Martín-Martín 등 연구진은 획기적인 방법인 SLAC(Simulation-Pretrained Latent Action Space) 을 제안했습니다. SLAC은 저품질 시뮬레이터를 활용하여 작업과 무관한 잠재적 행동 공간을 사전 훈련함으로써 복잡한 시스템에 대한 실제 세계 RL을 가능하게 합니다.

핵심은 사전 훈련된 잠재 행동 공간입니다. SLAC은 시간적 추상화, 분리, 안전성을 증진시키도록 설계된 맞춤형 비지도 기술 발견 방법을 통해 이 잠재 행동 공간을 훈련합니다. 이를 통해 효율적인 하류 학습이 가능해집니다. 잠재 행동 공간이 학습되면, SLAC은 이를 새로운 오프-정책 RL 알고리즘의 행동 인터페이스로 사용하여 실제 세계 상호 작용을 통해 하류 작업을 자율적으로 학습합니다.

놀라운 성능: 1시간 이내의 학습 완료

연구진은 다양한 양손 모바일 조작 작업에서 기존 방법과 SLAC을 비교 평가했습니다. 그 결과, SLAC은 최첨단 성능을 달성했습니다. 특히, SLAC은 어떠한 시범이나 수작업으로 제작된 행동 사전 정보 없이도 1시간 이내의 실제 세계 상호 작용만으로 접촉이 많은 전신 작업을 학습했습니다. 이는 로봇 제어 분야의 괄목할 만한 발전입니다. 자세한 정보, 코드, 및 비디오는 robo-rl.github.io에서 확인할 수 있습니다.

미래를 위한 전망

SLAC의 성공은 고도의 자유도를 가진 로봇 제어 분야에 새로운 가능성을 제시합니다. 향후 SLAC 기반의 로봇들은 더욱 복잡하고 다양한 작업을 안전하고 효율적으로 수행할 수 있을 것으로 기대됩니다. 이는 산업 자동화, 가정용 서비스 로봇 등 다양한 분야에 혁신적인 변화를 가져올 수 있습니다. 하지만 저품질 시뮬레이터의 한계와 실제 환경의 복잡성을 고려했을 때, SLAC의 실용화를 위한 지속적인 연구와 발전이 필요합니다.