GenEx: 상상력으로 현실 세계를 탐험하는 AI 시스템 등장!
GenEx는 단일 RGB 이미지로부터 3D 환경을 생성하고 GPT 지원 에이전트를 통해 복잡한 탐험을 수행하는 혁신적인 AI 시스템입니다. Unreal Engine 기반의 3D 데이터와 생성적 상상력을 활용하여 현실감 넘치는 가상 세계를 구축하고, 실제 세계 탐험으로의 확장 가능성을 제시합니다.

인공지능(AI) 분야에서 오랫동안 풀리지 않던 난제 중 하나는 3차원 물리적 현실 세계를 이해하고, 탐색하는 능력입니다. 최근, 루 밍(Taiming Lu) 박사를 비롯한 11명의 연구진이 개발한 GenEx 시스템이 이 문제에 대한 획기적인 해결책을 제시했습니다. GenEx는 단일 RGB 이미지만으로도 전체적인 3D 환경을 생성하여 AI 에이전트의 탐험과 상호작용을 가능하게 합니다.
GenEx의 핵심은 '생성적 상상력'에 있습니다. 시스템은 주변 환경에 대한 사전 정보(기대)를 형성하고, 이를 바탕으로 복잡한 탐험 계획을 수립합니다. Unreal Engine에서 얻은 확장 가능한 3D 데이터를 활용하여, GenEx는 360도 파노라마 비디오 스트림을 통해 현실감 넘치는 3D 환경을 생성합니다. 연구진은 GenEx가 높은 수준의 세계 생성 능력, 장기간에 걸친 루프 일관성 유지, 그리고 3D 맵핑과 같은 강력한 3D 기능을 보여준다고 설명했습니다.
더욱 놀라운 점은 GPT를 활용한 에이전트가 탑재되었다는 점입니다. 이 에이전트는 미지의 영역에 대한 예측적 기대를 활용하여 믿음을 강화하고, 잠재적인 결정에 따른 다양한 결과를 시뮬레이션하며, 더욱 효율적인 선택을 할 수 있습니다. 이는 목표 없는 탐험부터 목표 지향적 탐색까지 다양한 임무 수행이 가능하다는 것을 의미합니다.
GenEx는 단순한 가상 환경 생성 시스템을 넘어, 실제 세계 탐험으로 확장 가능성을 제시하는 혁신적인 플랫폼입니다. 연구진은 GenEx가 상상력 넘치는 공간에서 구현된 AI 발전에 혁신적인 변화를 가져올 것이라고 전망했습니다. 단일 이미지로 시작하여 3D 세계를 생성하고, GPT 에이전트를 통해 실제 세계 탐험을 위한 지능적인 의사결정까지 가능하게 한 이 기술은 AI 연구에 새로운 장을 열 것으로 기대됩니다. 앞으로 GenEx가 실제 세계 탐험에 어떻게 적용되고 발전할지 지켜볼 필요가 있습니다.
주요 연구진: 루 밍(Taiming Lu), 슈 티엔민(Tianmin Shu), 샤오 준페이(Junfei Xiao), 예 루오쉰(Luoxin Ye), 왕 자하오(Jiahao Wang), 펑 청(Cheng Peng), 위 첸(Chen Wei), 다니엘 카샤비(Daniel Khashabi), 라마 첼라파(Rama Chellappa), 앨런 유일(Alan Yuille), 천 지에넝(Jieneng Chen)
Reference
[arxiv] GenEx: Generating an Explorable World
Published: (Updated: )
Author: Taiming Lu, Tianmin Shu, Junfei Xiao, Luoxin Ye, Jiahao Wang, Cheng Peng, Chen Wei, Daniel Khashabi, Rama Chellappa, Alan Yuille, Jieneng Chen
http://arxiv.org/abs/2412.09624v3