KUDA: 시각적 프롬프트와 역동성 학습을 통합하는 핵심 기술, 오픈 보캐뷸러리 로봇 조작의 새 지평을 열다

본 기사는 Zixian Liu, Mingtong Zhang, Yunzhu Li 연구팀이 개발한 KUDA 시스템에 대한 소개입니다. KUDA는 핵심 포인트를 활용하여 역동성 학습과 시각적 프롬프트를 통합함으로써, 다양한 환경과 작업에서 오픈 보캐뷸러리 로봇 조작의 성능을 크게 향상시켰습니다.

최근 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 눈부신 발전은 오픈 보캐뷸러리 로봇 조작 시스템 개발에 혁신을 가져왔습니다. 하지만 기존 시스템들은 객체의 역동적인 움직임을 고려하지 못하는 경우가 많았고, 이는 복잡하고 역동적인 작업 수행에 큰 제약이 되었습니다.

Liu, Zhang, Li 연구팀이 개발한 KUDA는 이러한 문제점을 해결하기 위해 탄생했습니다. KUDA는 핵심 포인트를 활용하여 역동성 학습과 시각적 프롬프트를 통합한 시스템으로, VLM과 학습 기반 신경 역학 모델을 모두 활용합니다. KUDA의 핵심 아이디어는 핵심 포인트 기반의 타겟 명세가 VLM에 의해 해석될 수 있을 뿐만 아니라 모델 기반 계획을 위한 비용 함수로 효율적으로 변환될 수 있다는 점입니다.

KUDA의 작동 방식은 다음과 같습니다. 언어 지시와 시각적 관찰이 주어지면, KUDA는 먼저 RGB 이미지에 핵심 포인트를 할당하고 VLM을 통해 타겟 명세를 생성합니다. 이러한 추상적인 핵심 포인트 기반 표현은 비용 함수로 변환되고, 학습된 역학 모델을 사용하여 최적화되어 로봇의 궤적을 생성합니다.

다양한 물체 범주에 걸친 자유 형식 언어 지시, 다중 객체 상호 작용, 변형 가능하거나 과립성 물체를 포함한 다양한 조작 작업에 대한 평가 결과, KUDA는 그 효과를 성공적으로 입증했습니다. (프로젝트 페이지: http://kuda-dynamics.github.io)

KUDA는 단순히 명령을 따르는 로봇 시스템을 넘어, 객체의 역동성까지 이해하고 적응하는 지능형 시스템으로의 한 걸음을 의미합니다. 이는 향후 로봇 공학 분야의 발전에 중요한 전환점이 될 것으로 기대됩니다. 더 복잡하고 다양한 환경에서의 로봇 활용 가능성을 크게 확장시킬 KUDA의 향후 발전이 주목됩니다.

요약: 본 연구는 KUDA, 즉 시각적 프롬프트와 역동성 학습을 통합한 핵심 포인트 기반 오픈 보캐뷸러리 로봇 조작 시스템을 제시합니다. 이는 복잡하고 역동적인 환경에서의 로봇 조작 성능을 크게 향상시키는 획기적인 시스템입니다.