극한의 긴 자기중심적 비디오 이해를 위한 새로운 벤치마크: X-LeBench 등장!
X-LeBench는 극도로 긴 자기중심적 비디오 이해를 위한 새로운 벤치마크 데이터셋으로, LLM을 활용한 현실적인 시뮬레이션과 Ego4D 데이터셋을 결합하여 432개의 시뮬레이션 비디오 라이프 로그를 제공합니다. 기존 모델의 저조한 성능은 이 분야의 도전 과제를 보여주고, 더욱 발전된 모델의 필요성을 강조합니다.

Wenqi Zhou 등 10명의 연구진이 발표한 논문에 따르면, 초장시간 자기중심적 비디오 이해 분야는 엄청난 잠재력을 가지고 있음에도 불구하고, 기존의 벤치마크 데이터셋들은 짧은 영상이나 수십 분 정도의 영상에만 초점을 맞춰왔습니다. 이러한 한계를 극복하기 위해, 연구진은 X-LeBench라는 혁신적인 벤치마크 데이터셋을 선보였습니다.
X-LeBench: 극한의 길이, 현실적인 시뮬레이션
X-LeBench는 23분에서 무려 16.4시간에 이르는 극도로 긴 자기중심적 비디오를 포함하고 있습니다. 단순히 긴 영상을 모은 것이 아니라, 대규모 언어 모델(LLM) 의 뛰어난 텍스트 처리 능력을 활용하여 현실적인 일상 계획을 시뮬레이션하는 파이프라인을 구축했습니다. 이 시뮬레이션된 일상 계획은 실제 세계의 비디오 데이터인 Ego4D 데이터셋과 결합되어, 일상 활동을 풍부하게 담은 432개의 시뮬레이션 비디오 라이프 로그를 생성했습니다. 이는 마치 실제 삶을 엿보는 듯한 현실감 있는 데이터를 제공합니다.
기존 모델의 한계와 미래 전망
연구진은 여러 기존 모델과 다중 모달 대규모 언어 모델(MLLM)을 X-LeBench로 평가했습니다. 결과는 놀랍게도 전반적으로 저조한 성능을 보였습니다. 이는 초장시간 자기중심적 비디오 이해의 어려움을 보여주는 동시에, 더욱 발전된 모델의 필요성을 강조합니다. X-LeBench는 이 분야의 연구 발전에 중요한 이정표가 될 것으로 기대됩니다. 앞으로 어떤 혁신적인 모델들이 등장하여 이 도전적인 과제를 해결할지 기대됩니다!
키워드: X-LeBench, 자기중심적 비디오, 초장시간 비디오 이해, 대규모 언어 모델, Ego4D, 벤치마크, 인공지능, 컴퓨터 비전
Reference
[arxiv] X-LeBench: A Benchmark for Extremely Long Egocentric Video Understanding
Published: (Updated: )
Author: Wenqi Zhou, Kai Cao, Hao Zheng, Xinyi Zheng, Miao Liu, Per Ola Kristensson, Walterio Mayol-Cuevas, Fan Zhang, Weizhe Lin, Junxiao Shen
http://arxiv.org/abs/2501.06835v1