눈으로 보고 믿는다: 기초 모델을 불확실성 추정기로 활용한 신념 공간 계획

Zhao 박사 연구팀은 VLMs(Vision-Language Models)를 불확실성 추정기로 활용하여 신념 공간 계획을 수행하는 새로운 프레임워크를 제시했습니다. 이를 통해 부분적으로 관찰 가능한 환경에서의 로봇 모바일 조작의 어려움을 해결하고, 실제 세계 과제에서 기존 방법보다 우수한 성능을 보였습니다.

개방형 세계에서 로봇이 물건을 조작하는 것은 쉽지 않습니다. 목표가 복잡하고, 정보가 부족하며, 미래를 예측하기 어렵기 때문입니다. 마치 안개 속에서 길을 찾는 것과 같습니다. 이러한 어려움을 해결하기 위해, Zhao 박사 연구팀은 기초 모델(Foundation Models) 을 활용한 새로운 방법을 제시했습니다. 그들의 연구는 "Seeing is Believing: Belief-Space Planning with Foundation Models as Uncertainty Estimators"라는 제목으로 발표되었습니다.

연구팀은 비전-언어 모델(VLMs) 이라는 강력한 도구를 활용했습니다. VLMs는 이미지와 언어를 이해하고 서로 연결하는 인공지능 모델입니다. 하지만 기존의 VLMs는 완벽한 정보를 가정하고 있었기 때문에, 정보가 부족한 상황에서는 제대로 작동하지 않았습니다. 마치 지도 없이 길을 찾으려는 것과 같습니다.

연구팀은 이 문제를 해결하기 위해 VLMs를 불확실성을 추정하는 도구로 활용했습니다. VLMs가 제공하는 정보의 신뢰도를 평가하여, 불확실성을 고려한 계획을 세울 수 있도록 했습니다. 이를 위해 신념 공간 계획(belief-space planning) 이라는 기술을 사용했습니다. 이는 로봇이 자신이 아는 정보와 모르는 정보를 모두 고려하여 계획을 수립하는 방법입니다.

연구팀은 다양한 실제 세계의 과제를 통해 이 방법의 효과를 검증했습니다. 그 결과, 기존 방법들보다 훨씬 효율적으로 과제를 수행하는 것을 확인했습니다. 특히, 정보가 부족한 상황에서도 효과적으로 정보를 수집하고 계획을 수정하는 능력이 뛰어났습니다.

이 연구는 VLMs를 활용하여 로봇의 상황 인식 능력과 계획 능력을 향상시키는 중요한 발걸음입니다. 안개 속에서도 길을 찾을 수 있는 로봇, 불확실한 상황에서도 목표를 달성할 수 있는 로봇을 개발하는 데 한층 다가섰습니다. 앞으로 VLMs 기반의 로봇 기술 발전에 큰 영향을 미칠 것으로 기대됩니다.

주요 참여 연구자: Linfeng Zhao, Willie McClinton, Aidan Curtis, Nishanth Kumar, Tom Silver, Leslie Pack Kaelbling, Lawson L. S. Wong

핵심 내용:

• VLMs를 활용한 불확실성 추정 및 상징적 기반 구축
• 신념 공간 계획을 통한 불확실성 고려 계획 생성
• 실제 세계 과제를 통한 성능 검증 및 기존 방법 대비 우수성 확인