로봇 제어의 혁신: 손그림으로 로봇을 명령하다!

본 기사는 손으로 그린 그림을 통해 로봇을 제어하는 새로운 시스템 RoVI와 그를 위한 파이프라인 VIEW에 대한 연구 결과를 소개합니다. 실제 환경에서 높은 성공률을 기록하며 로봇 제어 분야의 혁신적인 발전을 보여주는 이 연구는 향후 인간-로봇 협업에 큰 영향을 미칠 것으로 기대됩니다.

로봇 제어의 새로운 지평, RoVI 와 VIEW

최근 자연어는 인간-로봇 상호작용의 주요 수단으로 자리 잡았지만, 공간적 정확성이 부족하여 모호성과 장황함이라는 과제를 안고 있었습니다. 이러한 한계를 극복하기 위해, Yanbang Li 등 연구진이 제시한 RoVI(Robotic Visual Instruction) 는 객체 중심의 손으로 그린 상징적 표현을 통해 로봇 작업을 안내하는 혁신적인 패러다임입니다. 화살표, 원, 색상, 숫자 등을 활용하여 2D 스케치에 공간-시간 정보를 효과적으로 인코딩하여 3D 로봇 조작을 지시합니다.

RoVI를 효과적으로 이해하고 정확한 동작을 생성하기 위해 연구진은 VIEW(Visual Instruction Embodied Workflow) 라는 파이프라인을 개발했습니다. VIEW는 Vision-Language Model(VLMs) 을 활용하여 RoVI 입력을 해석하고, 핵심점 추출을 통해 2D 픽셀 공간에서 공간적 및 시간적 제약 조건을 해독한 후 실행 가능한 3D 동작 시퀀스로 변환합니다. 또한, 에지 배포를 위한 소형 VLMs를 미세 조정하기 위해 15,000개의 인스턴스로 구성된 특수 데이터셋을 구축하여 RoVI 기능 학습을 효율적으로 지원합니다.

실제 및 시뮬레이션 환경에서 11가지 새로운 작업에 걸쳐 엄격한 검증을 거친 결과, VIEW는 다단계 동작, 방해 요소, 궤적 추적 요구 사항을 포함하는 새로운 작업에서 실제 환경에서 87.5%의 성공률을 달성하며 뛰어난 일반화 능력을 입증했습니다. 이는 손으로 그린 간단한 그림만으로도 복잡한 로봇 작업을 수행할 수 있다는 것을 의미합니다. 향후 공개될 코드와 데이터셋을 통해 더욱 많은 연구와 발전이 기대됩니다. 이 연구는 로봇 제어 분야에 새로운 가능성을 열고, 인간과 로봇의 협업을 더욱 원활하게 만들어줄 것으로 예상됩니다. 손그림으로 로봇을 명령하는 시대가 눈 앞에 다가왔습니다! 🎉