로봇 정책 평가의 혁신: 세계 모델이 열어가는 새로운 지평

본 기사는 세계 모델 기반 정책 평가(WPE)를 이용한 로봇 정책 평가 연구에 대한 내용을 다룹니다. 실제 환경 테스트의 어려움을 극복하고자 행동 조건부 비디오 생성 모델 및 블록 단위 자기 회귀 확산 트랜스포머를 활용한 WPE의 제안과 그 결과를 분석합니다. WPE는 정책의 상대 순위를 잘 유지하지만, 분포 내외 행동에 대한 정책 가치 평가의 편향성을 보이는 등 한계도 존재함을 밝힙니다. 하지만 실제 배포 전 로봇 정책 평가의 중요한 도구로서의 활용 가능성을 제시하며 로봇 기술 발전에 기여할 것으로 기대됩니다.

가정용 로봇 청소기부터 환자 간호 로봇까지, 로봇의 활용 분야는 무궁무진합니다. 하지만 로봇 제어 정책의 평가는 쉽지 않습니다. 실제 환경에서의 테스트는 비용이 많이 들고, 수작업으로 만든 시뮬레이션은 실제 환경을 정확하게 반영하지 못하는 경우가 많아 시뮬레이션 평가와 실제 결과 간의 상관관계가 낮기 때문입니다. Julian Quevedo, Percy Liang, Sherry Yang 등의 연구진은 이러한 문제를 해결하기 위해 세계 모델 기반 정책 평가(WPE) 를 제안했습니다.

세계 모델 기반 정책 평가(WPE): 현실과 가상의 조화

연구진은 먼저 실제 환경의 대리 모델로 행동 조건부 비디오 생성 모델을 훈련했습니다. 수백 단계의 상호 작용을 효율적으로 수행하면서 세계 모델의 오류 누적을 완화하기 위해 블록 단위 자기 회귀 확산 트랜스포머(Blockwise-Autoregressive Diffusion Transformer) 라는 새로운 추론 방식을 제안했습니다. 이 방식은 조정 가능한 컨텍스트와 디코딩 수평선 길이를 가지고 있습니다. 세계 모델이 실제 행동 입력을 따르는지 확인하기 위해 지상 진실 비디오와 동일한 행동 순서를 조건으로 생성된 비디오 간의 일치도를 측정하는 지표를 제시했습니다.

놀라운 발견: WPE의 강점과 한계

연구진은 세계 모델에서 몬테카를로 시뮬레이션을 수행하고 비전-언어 모델(VLM) 을 보상 함수로 사용하여 정책 평가를 수행했습니다. 흥미롭게도, WPE는 분포 내 행동에 대해서는 정책 가치를 과소평가하고, 분포 외 행동에 대해서는 과대평가하는 경향이 있음을 발견했습니다. 하지만 WPE는 서로 다른 정책의 상대 순위를 유지했습니다. 실제 로봇 실행을 에뮬레이션하는 과정에서 WPE는 실제 비디오와 같이 로봇 팔의 움직임을 높은 충실도로 모방했지만, 매우 사실적인 물체 상호 작용을 에뮬레이션하는 것은 여전히 어려움이 있었습니다.

미래를 위한 발걸음: 실제 배포 전 평가의 가능성

이러한 한계에도 불구하고, 연구진은 세계 모델이 실제 배포 전에 로봇 정책을 평가하기 위한 시작점으로 활용될 수 있음을 보여주었습니다. WPE는 로봇 정책 평가의 새로운 장을 열었으며, 향후 더욱 발전된 세계 모델과 평가 기법을 통해 로봇 기술의 안전성과 효율성을 높이는 데 기여할 것으로 기대됩니다. 이 연구는 단순한 기술적 진보를 넘어, 로봇 기술의 윤리적 책임과 안전한 활용에 대한 고민을 촉구하는 중요한 의미를 지닙니다.