로봇 학습의 혁신: 단 몇 분의 영상으로 로봇에게 새로운 기술을 가르치다
코넬 대학교 연구팀이 개발한 Motion Tracks 기술은 단 몇 분의 인간 영상 데이터를 사용하여 로봇에게 새로운 작업을 가르칠 수 있는 획기적인 기술입니다. 4가지 실제 작업에서 86.5%의 높은 성공률을 달성하며 기존 기술 대비 40% 향상된 성능을 보였습니다. 이 기술은 로봇 학습 분야의 혁신을 가져올 것으로 기대됩니다.

일상적인 작업을 스스로 수행하는 로봇을 만드는 것은 여전히 어려운 과제입니다. 모방 학습(IL)은 사람의 행동을 통해 로봇에게 기술을 가르치는 강력한 방법이지만, 텔레조작 로봇 데이터 수집에 많은 노력이 필요하다는 한계가 있습니다. 인간의 영상 데이터는 대량으로 확보할 수 있는 대안이지만, 로봇 행동 라벨이 없어 직접 IL 정책에 활용하는 데 어려움이 있었습니다.
코넬 대학교 연구팀(Juntao Ren, Priya Sundaresan, Dorsa Sadigh, Sanjiban Choudhury, Jeannette Bohg)은 이러한 문제를 해결하기 위해 Motion Tracks 라는 획기적인 기술을 개발했습니다. 이 기술은 행동을 이미지 상의 단기간 2D 궤적으로 나타내는 방법입니다. 이러한 '움직임 궤적(Motion Tracks)'은 인간의 손이나 로봇의 말단 효과기의 예상 이동 방향을 포착합니다.
연구팀은 Motion Track Policy (MT-pi) 라는 IL 정책을 제시하여 이미지 관측값을 입력받고 움직임 궤적을 행동으로 출력합니다. 이 통합된 행동 공간을 통해 MT-pi는 단 몇 분의 인간 영상 데이터와 제한적인 추가 로봇 시범만으로도 작업을 높은 성공률로 완료합니다. 테스트 시에는 두 개의 카메라 시점에서 움직임 궤적을 예측하고 다중 시점 합성을 통해 6DoF 궤적을 복원합니다.
MT-pi는 4가지 실제 작업에서 평균 86.5%의 성공률을 달성했습니다. 이는 인간 데이터나 연구팀의 행동 공간을 활용하지 않는 최첨단 IL 기준선보다 40%나 높은 수치입니다. 또한, 인간 영상에서만 볼 수 있는 시나리오에도 일반화됩니다. 자세한 내용은 연구팀의 웹사이트 (https://portal-cornell.github.io/motion_track_policy/)에서 확인할 수 있습니다.
이 연구는 로봇 학습 분야에 중요한 전환점을 마련했습니다. 단순히 데이터의 양에 의존하는 것이 아니라, 데이터의 질과 효율적인 활용에 중점을 둠으로써 로봇 학습의 새로운 가능성을 열었습니다. 앞으로 이 기술은 다양한 로봇 응용 분야에 널리 활용될 것으로 기대됩니다.
Reference
[arxiv] Motion Tracks: A Unified Representation for Human-Robot Transfer in Few-Shot Imitation Learning
Published: (Updated: )
Author: Juntao Ren, Priya Sundaresan, Dorsa Sadigh, Sanjiban Choudhury, Jeannette Bohg
http://arxiv.org/abs/2501.06994v1