NVIDIA의 혁신적인 AI 모델, Cosmos-Transfer1: 실시간 월드 생성의 꿈을 현실로
NVIDIA 주도의 연구진이 개발한 Cosmos-Transfer1은 다양한 모달리티를 활용한 조건부 월드 생성 모델로, 적응적이고 사용자 지정 가능한 공간 조건부 계획을 통해 높은 제어력을 제공합니다. 실시간 월드 생성 및 오픈소스 공개를 통해 물리적 AI 분야의 혁신을 가속화할 것으로 예상됩니다.

NVIDIA를 비롯한 수많은 연구자들이 공동 개발한 획기적인 AI 모델, Cosmos-Transfer1이 등장했습니다! 이 모델은 다양한 공간 제어 입력(segmentation, depth, edge 등)을 기반으로 월드 시뮬레이션을 생성하는 조건부 월드 생성 모델입니다. 단순한 시뮬레이션을 넘어, 현실 세계와의 긴밀한 연결을 목표로 하는 Sim2Real (시뮬레이션 투 리얼) 분야에 혁신을 일으킬 잠재력을 지니고 있습니다.
Cosmos-Transfer1의 핵심은 적응적이고 사용자 지정 가능한 공간 조건부 계획입니다. 이는 서로 다른 공간 위치에서 서로 다른 조건부 입력에 가중치를 부여하여, 사용자가 원하는 대로 월드를 세밀하게 제어할 수 있도록 합니다. 마치 현실 세계를 조각하듯, AI가 시뮬레이션 환경을 정교하게 조정하는 능력을 보여줍니다.
단순한 기술적 진보를 넘어, Cosmos-Transfer1은 물리적 AI 분야에 엄청난 영향을 미칠 것으로 예상됩니다. 로봇공학의 Sim2Real 적용을 통해 시뮬레이션 환경에서 학습된 로봇의 행동을 현실 세계로 자연스럽게 전환하고, 자율주행 자동차의 데이터 풍부화를 통해 더욱 안전하고 정확한 자율주행 시스템을 구축하는데 기여할 수 있습니다.
특히 주목할 만한 점은 실시간 월드 생성을 위한 추론 확장 전략입니다. NVIDIA GB200 NVL72 랙을 활용하여 실시간으로 월드를 생성하는 성능을 달성했으며, 이는 물리적 AI 응용 프로그램의 실시간 처리에 있어서 중요한 진전입니다.
더욱 놀라운 것은, 연구의 발전을 가속화하기 위해 모델과 코드를 오픈소스로 공개했다는 점입니다. (https://github.com/nvidia-cosmos/cosmos-transfer1) 이를 통해 전 세계 연구자들이 Cosmos-Transfer1을 기반으로 더욱 혁신적인 연구를 수행하고, 물리적 AI 분야의 발전에 기여할 수 있을 것입니다. 이는 단순한 기술 발표를 넘어, AI 커뮤니티 전체의 발전을 위한 중요한 이정표를 세운 것입니다.
Cosmos-Transfer1은 단순한 기술이 아닌, 현실과 가상 세계의 경계를 허물고, 새로운 가능성을 열어주는 혁신의 시작점입니다. 앞으로 이 기술이 어떻게 발전하고, 우리의 삶에 어떤 영향을 미칠지 기대됩니다.
Reference
[arxiv] Cosmos-Transfer1: Conditional World Generation with Adaptive Multimodal Control
Published: (Updated: )
Author: NVIDIA, :, Hassan Abu Alhaija, Jose Alvarez, Maciej Bala, Tiffany Cai, Tianshi Cao, Liz Cha, Joshua Chen, Mike Chen, Francesco Ferroni, Sanja Fidler, Dieter Fox, Yunhao Ge, Jinwei Gu, Ali Hassani, Michael Isaev, Pooya Jannaty, Shiyi Lan, Tobias Lasser, Huan Ling, Ming-Yu Liu, Xian Liu, Yifan Lu, Alice Luo, Qianli Ma, Hanzi Mao, Fabio Ramos, Xuanchi Ren, Tianchang Shen, Xinglong Sun, Shitao Tang, Ting-Chun Wang, Jay Wu, Jiashu Xu, Stella Xu, Kevin Xie, Yuchong Ye, Xiaodong Yang, Xiaohui Zeng, Yu Zeng
http://arxiv.org/abs/2503.14492v2