로봇 조작의 새로운 지평: 계층적 행동 모델 HAMSTER

Yi Li 등 12명의 연구자들이 개발한 HAMSTER는 계층적 VLA 모델을 통해 오프 도메인 데이터를 효과적으로 활용하여 로봇 조작의 일반화 능력을 향상시켰습니다. 실제 로봇 실험에서 기존 모델 대비 20%의 성공률 향상을 달성하여 로봇 기술 발전에 크게 기여할 것으로 기대됩니다.

최근 비전과 언어 분야에서 대규모 기초 모델이 놀라운 성과를 보여주고 있지만, 로봇 조작 분야에서는 여전히 일반화 능력 향상에 어려움을 겪고 있습니다. 고가의 로봇 작동을 통한 데이터 수집의 어려움이 주요 원인입니다. 이러한 문제를 해결하기 위해 Yi Li 등 12명의 연구자들은 HAMSTER (Hierarchical Action Models For Open-World Robot Manipulation) 라는 혁신적인 접근법을 제시했습니다.

HAMSTER의 핵심은 계층적 비전-언어-행동(VLA) 모델입니다. 기존의 단일 VLA 모델이 비전-언어 모델(VLM)을 직접 미세 조정하여 행동을 예측하는 것과 달리, HAMSTER는 고차원 VLM과 저차원 제어 정책을 계층적으로 구성합니다. 고차원 VLM은 RGB 이미지와 작업 설명을 바탕으로 로봇 말단 효과기의 궤적을 나타내는 2D 경로를 생성하고, 이를 저차원 3D 제어 정책에 전달하여 정밀한 조작을 수행합니다. 이러한 계층적 설계는 고차원 VLM의 부담을 줄이고 저차원 정책의 복잡한 작업 수준 추론의 부담을 경감시킵니다.

가장 흥미로운 점은 HAMSTER가 오프 도메인 데이터 (예: 동작 없는 비디오, 손으로 그린 스케치, 시뮬레이션 데이터)를 효과적으로 활용한다는 것입니다. 실제 로봇 실험에서 HAMSTER는 기존의 OpenVLA 모델 대비 평균 20%의 성공률 향상을 보였으며, 이는 50%의 상대적 증가에 해당합니다. 이는 다양한 로봇 형태, 동역학, 시각적 외관, 작업 의미론적 차이와 같은 상당한 도메인 차이에도 불구하고 고차원 VLM이 효과적으로 전이 학습을 수행했음을 보여줍니다. 자세한 시각적 결과는 https://hamster-robot.github.io/ 에서 확인할 수 있습니다.

결론적으로, HAMSTER는 로봇 조작 분야의 일반화 능력 향상에 중요한 전기를 마련했습니다. 계층적 모델 설계와 오프 도메인 데이터 활용을 통해 로봇 조작의 효율성과 성능을 크게 향상시킨 이 연구는 앞으로 로봇 기술 발전에 큰 영향을 미칠 것으로 예상됩니다. 이는 단순히 기술적 진보를 넘어, 더욱 안전하고 효율적인 로봇 시스템 개발로 이어져 우리 삶의 질 향상에 기여할 것입니다. 하지만, 더욱 다양한 환경과 복잡한 작업에 대한 추가적인 연구가 필요하며, 실제 상용화를 위해서는 안전성 및 신뢰성에 대한 면밀한 검토가 필수적입니다.