VLABench: 장기적 추론을 필요로 하는 언어 조건부 로봇 조작을 위한 대규모 벤치마크


VLABench는 장기적 추론과 상식적 지식을 필요로 하는 다양한 로봇 조작 과제를 제공하는 대규모 벤치마크로, 기존 기술의 한계를 드러내고 향후 연구 방향을 제시합니다. 실제 세계의 복잡성을 반영한 과제들은 인간과 유사한 지능을 갖춘 로봇 시스템 개발에 중요한 기여를 할 것으로 기대됩니다.

related iamge

VLABench: 일반 목적의 로봇 조작의 새로운 기준

최근 딥러닝의 발전과 더불어, 사용자의 자연어 명령을 이해하고 다양한 작업을 수행하는 일반 목적의 로봇 시스템 개발이 활발하게 진행되고 있습니다. 특히, Vision-Language-Action (VLA) 모델은 이러한 맥락에서 주목받는 기술 중 하나입니다. 그러나 기존의 벤치마크는 VLA 모델의 잠재력을 충분히 평가하기에 부족한 점이 있었습니다.

중국과학원 자동화연구소 연구팀은 이러한 한계를 극복하고자, VLABench라는 대규모 벤치마크를 개발했습니다. VLABench는 100가지 이상의 다양한 작업 범주와 2000개 이상의 개체를 포함하며, 각 범주 내에서의 높은 무작위성을 특징으로 합니다. 단순한 명령어 수행을 넘어, 상식과 추론 능력을 필요로 하는 장기간 계획 과제를 포함하고 있다는 점이 핵심입니다.

VLABench는 기존 벤치마크와 비교하여 다음과 같은 네 가지 주요 차별점을 갖습니다.

  1. 상식과 지식 전이 필요: 단순한 패턴 매칭이 아닌, 실제 세계 지식과 상식을 활용해야 하는 과제들을 포함합니다.
  2. 자연어 명령: 템플릿 기반의 명령어가 아닌, 자연스러운 언어로 표현된 사용자의 의도를 이해해야 합니다.
  3. 장기간 추론: 여러 단계의 계획과 추론을 필요로 하는 복잡한 과제들을 포함합니다.
  4. 행동 정책 및 언어 모델 평가: 로봇의 행동 정책과 언어 모델의 성능을 모두 평가합니다.

VLABench는 메시 및 텍스처 이해, 공간 관계 파악, 의미적 지시 이해, 물리 법칙 적용, 지식 전이 및 추론 등 다양한 능력을 평가합니다. 또한, 효율적인 학습을 위해 자동화된 프레임워크를 통해 수집된 고품질의 훈련 데이터도 함께 제공합니다.

연구 결과는 최첨단 VLA 모델조차 VLABench의 과제들을 완벽하게 해결하지 못함을 보여줍니다. 이는 VLA 모델의 발전을 위한 중요한 시사점을 제공하며, 향후 연구 방향을 제시하는 중요한 결과입니다. VLABench는 일반 목적의 로봇 시스템 개발에 중요한 이정표가 될 것으로 예상됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks

Published:  (Updated: )

Author: Shiduo Zhang, Zhe Xu, Peiju Liu, Xiaopeng Yu, Yuan Li, Qinghui Gao, Zhaoye Fei, Zhangyue Yin, Zuxuan Wu, Yu-Gang Jiang, Xipeng Qiu

http://arxiv.org/abs/2412.18194v1