GPT4Scene: 비디오로 3D 공간 이해하는 혁신적인 비전-언어 모델


Zhangyang Qi 등 연구진이 개발한 GPT4Scene은 비디오를 통해 3D 공간을 이해하는 혁신적인 비전-언어 모델입니다. 기존 VLM의 한계를 극복하고 제로샷 평가 및 자체 데이터셋을 통해 최첨단 성능을 달성했습니다. 시각적 프롬프팅 패러다임과 BEV 이미지 활용은 VLM의 3D 공간 이해 능력을 향상시켰으며, 추후 다양한 분야에 적용될 가능성을 제시합니다.

related iamge

최근 2D 비전-언어 모델(VLM)이 이미지-텍스트 이해 분야에서 괄목할 만한 발전을 이루었지만, 구현된 지능에 필수적인 3D 공간 이해 능력은 여전히 제한적이었습니다. 기존 연구에서는 3D 점 구름이나 다중 뷰 이미지를 입력으로 활용하는 방식이 제시되었지만, Qi Zhangyang 등 연구진은 인간의 지각 방식에서 영감을 얻어 순수하게 시각적 단서만으로 3D 공간을 이해하는 새로운 접근법을 제안했습니다.

연구진이 발견한 기존 VLM의 한계는 무엇일까요? 바로 장면과 개별 프레임 간의 전역-국소적 대응 관계 부족입니다. 이를 해결하기 위해 연구진은 GPT4Scene, 즉 VLM 학습 및 추론에 혁신적인 시각적 프롬프팅 패러다임을 도입했습니다.

GPT4Scene은 비디오에서 3D 조감도(BEV) 이미지를 생성하고 프레임과 BEV 이미지 모두에서 일관된 객체 ID를 표시합니다. 그런 다음 마커가 표시된 BEV 이미지와 비디오 프레임을 연결하여 모델에 입력합니다. 놀랍게도, GPT4Scene은 제로샷 평가에서 GPT-4o 와 같은 기존 최고 성능의 VLM을 능가했습니다. 뿐만 아니라, 연구진은 16만 5천 개의 텍스트 주석으로 구성된 비디오 데이터셋을 준비하여 오픈소스 VLM을 미세 조정했고, 모든 3D 이해 작업에서 최첨단 성능을 달성했습니다.

더욱 흥미로운 점은 GPT4Scene 패러다임으로 학습된 VLM은 시각적 프롬프팅이나 BEV 이미지 없이도 추론 과정에서 성능이 지속적으로 향상되었다는 것입니다. 이는 제안된 패러다임이 VLM이 3D 장면을 이해하는 고유한 능력을 개발하는 데 도움이 된다는 것을 보여주며, 사전 훈련된 VLM을 3D 장면 이해에 적용하는 비침습적인 접근 방식의 길을 열었습니다.

결론적으로, GPT4Scene은 비디오를 통해 3D 공간을 이해하는 새로운 가능성을 열었으며, 비전-언어 모델의 발전에 중요한 이정표를 세웠습니다. 앞으로 이 기술이 자율주행, 로보틱스, 가상현실 등 다양한 분야에서 혁신을 가져올 것으로 기대됩니다. 하지만, 데이터셋의 규모와 다양성 확보, 실제 환경 적용을 위한 추가 연구가 필요할 것입니다. GPT4Scene의 발전이 미래 기술의 혁신을 이끄는 데 중요한 역할을 할 것임을 주목할 필요가 있습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models

Published:  (Updated: )

Author: Zhangyang Qi, Zhixiong Zhang, Ye Fang, Jiaqi Wang, Hengshuang Zhao

http://arxiv.org/abs/2501.01428v3