SpatialVLA: 로봇 조작의 혁신, 공간적 이해를 넘어

SpatialVLA는 3D 공간 정보와 적응형 행동 그리드를 활용하여 로봇 조작의 공간적 이해 능력을 향상시킨 혁신적인 모델입니다. 110만 개의 실제 로봇 데이터를 활용한 사전 학습과 Adaptive Action Grids를 통한 적응력으로 제로샷 성능과 다양한 환경에 대한 적응력을 모두 갖추었습니다. 모든 코드를 공개하여 학계의 발전에 기여할 것으로 기대됩니다.

로봇이 세상을 이해하는 새로운 방법

중국과학원 연구팀(Delin Qu, Haoming Song 외)이 발표한 논문 “SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model”은 로봇 조작 분야에 혁신적인 변화를 가져올 가능성을 제시합니다. 이들은 로봇 조작의 핵심이 바로 공간적 이해에 있다고 주장하며, 이를 위한 새로운 모델인 SpatialVLA를 제안했습니다.

3D 공간 정보와 적응형 행동 그리드의 만남

SpatialVLA의 핵심은 두 가지 기술에 있습니다. 첫째, Ego3D Position Encoding을 통해 3D 공간 정보를 모델의 입력으로 직접 주입하여 로봇이 주변 환경을 더욱 정확하게 인지하도록 합니다. 둘째, Adaptive Action Grids는 로봇의 움직임을 적응적으로 이산화된 그리드로 표현하여, 다양한 환경과 작업에 대한 일반화 및 전이 학습을 용이하게 합니다. 마치 로봇에게 공간적 사고 능력을 부여하는 것과 같습니다.

실제 세상을 배우는 로봇

SpatialVLA는 110만 개의 실제 로봇 에피소드를 사용하여 사전 훈련되었습니다. 이 방대한 데이터셋을 통해 로봇은 다양한 환경과 작업에 대한 일반적인 조작 정책을 학습할 수 있었습니다. 결과적으로, SpatialVLA는 제로샷(Zero-shot) 방식으로 다양한 작업을 수행할 수 있는 능력을 보여주었습니다. 시뮬레이션과 실제 로봇 환경 모두에서 뛰어난 성능을 기록하며, 복잡한 로봇 동작 경로를 추론하고 도메인 내 다중 작업 일반화 능력을 입증했습니다.

새로운 환경에도 적응하는 유연성

SpatialVLA의 또 다른 강점은 적응력입니다. Adaptive Action Grids를 통해 사전 학습된 모델을 새로운 시뮬레이션 및 실제 환경에 적용할 수 있습니다. 기존의 행동 그리드를 재구성하여 새로운 환경에 특화된 로봇의 공간적 행동을 포착합니다. 이를 통해 SpatialVLA는 분포 내 일반화 및 분포 외 적응 능력을 모두 갖추게 되었습니다.

개방형으로 공유되는 혁신

SpatialVLA는 모든 세부 정보와 코드를 공개하여, 연구 커뮤니티의 발전에 기여할 것을 약속했습니다. 이는 로봇 기술의 발전 속도를 더욱 가속화하고, 다양한 분야에서 로봇의 활용 가능성을 확대하는 데 크게 기여할 것으로 예상됩니다. 앞으로 SpatialVLA가 로봇 공학 분야에 어떤 영향을 미칠지 기대됩니다.