10억 파라미터의 탐색 세계 모델: 미래의 길을 상상하다
10억 파라미터의 거대 모델 기반 탐색 세계 모델(NWM)이 발표되었습니다. NWM은 미래의 시각적 정보를 예측하고, 익숙하거나 낯선 환경에서도 효과적으로 경로를 계획할 수 있습니다. 차세대 탐색 시스템에 혁신을 가져올 것으로 기대되지만, 자원 소비 문제 또한 고려해야 합니다.

Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, 그리고 Yann LeCun이 이끄는 연구팀이 혁신적인 탐색 세계 모델(Navigation World Model, NWM) 을 발표했습니다. 이 모델은 단순한 탐색 알고리즘을 넘어, 10억 개의 파라미터를 자랑하는 거대 모델을 통해 인간과 로봇 에이전트의 시점에서 촬영된 다양한 비디오 데이터를 학습하여 미래의 시각적 정보를 예측합니다.
NWM의 핵심은 조건부 확산 트랜스포머(Conditional Diffusion Transformer, CDiT) 입니다. CDiT는 복잡한 환경 변화를 정확하게 포착하여 과거 관찰과 행동을 바탕으로 미래의 시각적 결과를 예측하는 능력을 갖췄습니다. 이를 통해 NWM은 익숙한 환경에서 목표 달성을 위한 탐색 경로를 시뮬레이션하고 평가할 수 있습니다.
기존의 고정된 행동을 가진 탐색 정책과 달리, NWM은 계획 단계에서 제약 조건을 동적으로 통합할 수 있습니다. 실험 결과, NWM은 외부 정책에서 샘플링된 경로를 순위 매기거나 처음부터 경로를 계획하는 데 효과적인 것으로 나타났습니다. 더 나아가, NWM은 학습된 시각적 사전 지식을 활용하여 단일 입력 이미지만으로도 낯선 환경에서의 경로를 상상할 수 있습니다.
이러한 혁신적인 기능들은 NWM을 차세대 탐색 시스템을 위한 유연하고 강력한 도구로 만들어줍니다. 자율주행 자동차, 로봇 탐사, 게임 AI 등 다양한 분야에서 획기적인 발전을 가져올 것으로 기대됩니다. 단순히 목표 지점까지 이동하는 것을 넘어, NWM은 미래를 예측하고 계획하는 능력을 통해 더욱 지능적이고 안전한 탐색을 가능하게 할 것입니다. 하지만, 10억 파라미터의 거대 모델을 학습 및 구동하는 데 필요한 막대한 컴퓨팅 자원과 에너지 소비 문제는 앞으로 해결해야 할 과제로 남아 있습니다.
Reference
[arxiv] Navigation World Models
Published: (Updated: )
Author: Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun
http://arxiv.org/abs/2412.03572v1