로봇 조작의 혁신: HAMSTER 모델이 열어가는 새로운 지평

HAMSTER 모델은 저렴한 오프 도메인 데이터를 활용하는 계층적 VLA 모델로, 로봇 조작 분야의 일반화 문제를 해결하고 실제 로봇 실험에서 기존 모델 대비 50% 향상된 성능을 보였습니다. 이는 로봇 학습의 효율성을 높이고 다양한 환경에서의 적응력을 향상시키는 중요한 발걸음입니다.

최근 컴퓨터 비전과 자연어 처리 분야에서 대규모 기초 모델들이 괄목할 만한 성과를 거두고 있습니다. 하지만 로봇 조작 분야에서는 여전히 일반화에 어려움을 겪고 있습니다. 가장 큰 문제는 실제 로봇을 이용한 데이터 수집의 어려움과 높은 비용입니다.

이러한 문제를 해결하기 위해 Yi Li 등 12명의 연구진이 개발한 HAMSTER (Hierarchical Action Models For Open-World Robot Manipulation) 모델은 혁신적인 접근 방식을 제시합니다. HAMSTER는 저렴한 비용으로 얻을 수 있는 오프 도메인 데이터(예: 액션이 없는 비디오, 손으로 그린 스케치, 시뮬레이션 데이터)를 효과적으로 활용하는 계층적 비전-언어-액션(VLA) 모델입니다.

HAMSTER의 핵심은 바로 계층적인 구조입니다. 상위 수준의 VLM은 RGB 이미지와 작업 설명을 입력받아 로봇의 최종 목표 지점을 나타내는 2D 경로를 생성합니다. 이 2D 경로는 하위 수준의 3D 인식 제어 정책에 대한 가이드라인으로 활용되어 정밀한 조작을 가능하게 합니다. 이러한 계층적 설계는 상위 수준 VLM의 부담을 줄이고 하위 수준 정책의 복잡한 작업 수준 추론 부담을 완화합니다.

연구 결과는 놀랍습니다. 실제 로봇 실험에서 HAMSTER는 기존의 OpenVLA 모델에 비해 7가지 다른 일반화 축에서 평균 20%의 성공률 향상을 보였습니다. 이는 상대적으로 50%의 성능 향상을 의미하는 괄목할 만한 결과입니다. 이는 HAMSTER가 로봇의 구현 방식, 동역학, 시각적 외관, 작업 의미론 등의 차이에도 불구하고 상당한 도메인 간 차이를 극복할 수 있음을 보여줍니다.

HAMSTER 모델은 로봇 조작 분야의 패러다임을 바꿀 잠재력을 가지고 있습니다. 비용 효율적인 데이터 활용과 계층적 모델 설계를 통해 로봇 학습의 효율성을 획기적으로 높이고, 보다 일반적이고 유연한 로봇 시스템의 개발을 가속화할 것으로 기대됩니다. 자세한 내용은 https://hamster-robot.github.io/ 에서 확인할 수 있습니다. 😉