긴 영상 이해의 새로운 지평: Google DeepMind의 Neptune 데이터셋
Google DeepMind의 Neptune 데이터셋은 대규모 모델을 활용한 자동화된 생성 파이프라인과 새로운 오픈소스 지표 GEM을 통해 긴 영상 이해 분야의 벤치마킹을 혁신적으로 발전시킵니다. 기존 모델의 한계를 드러내고, 더욱 발전된 모델 개발을 촉진할 것으로 기대됩니다.

긴 영상 이해의 혁신: Google DeepMind의 Neptune
짧은 영상(10~30초)에 집중된 기존의 연구 트렌드를 넘어, Google DeepMind는 긴 영상 이해에 대한 새로운 벤치마킹 데이터셋 Neptune을 발표했습니다. Arsha Nagrani 등 13명의 연구진이 참여한 이 연구는 단순히 새로운 데이터셋을 넘어, 긴 영상 이해 분야의 패러다임을 바꿀 잠재력을 가지고 있습니다.
기존의 한계를 극복하다: 자동화된 데이터셋 생성
기존의 긴 영상 데이터셋은 수동 주석에 의존하여 비용이 많이 들고, 강력한 이미지 모델을 프레임 단위로 적용하는 방식으로 해결 가능한 경우가 많았습니다. Neptune은 이러한 문제를 해결하기 위해 대규모 언어 모델(LLMs)과 비전-언어 모델(VLMs)을 활용하여 자동으로 시간 정렬된 캡션과 질문-답변-오답 세트를 생성하는 반자동 파이프라인을 제시합니다. 최대 15분 길이의 영상을 다루며, 시간 순서, 개수 세기, 상태 변화 등 다양한 긴 영상 추론 능력을 평가할 수 있도록 설계되었습니다. 특히 다중 모드 추론에 중점을 둔 하위 데이터셋도 포함하고 있습니다.
객관적인 평가를 위한 새로운 지표 GEM
기존의 오픈엔디드 질문 답변 평가 지표는 규칙 기반이거나 독점 모델에 의존하는 경우가 많았습니다. Neptune은 이러한 한계를 극복하기 위해 새로운 오픈소스 모델 기반 지표 GEM을 함께 제공합니다. GEM은 Neptune에서 오픈엔디드 응답을 점수 매기는 데 사용되며, 더욱 객관적이고 공정한 평가를 가능하게 합니다.
긴 영상 이해 모델의 새로운 도약을 위한 기반
Neptune을 이용한 벤치마크 평가 결과, 현재의 오픈소스 긴 영상 모델들은 특히 시간 순서, 개수 세기, 상태 변화를 묻는 질문에 대해 성능이 저조한 것으로 나타났습니다. 이는 Neptune이 긴 영상 이해 모델의 발전을 위한 중요한 촉매제가 될 것임을 시사합니다. Neptune 데이터셋은 https://github.com/google-deepmind/neptune 에서 확인할 수 있습니다.
결론적으로, Neptune은 긴 영상 이해 분야의 발전에 중요한 기여를 할 것으로 기대됩니다. 자동화된 데이터셋 생성 및 객관적인 평가 지표의 제공을 통해, 보다 정교하고 강력한 긴 영상 이해 모델의 개발을 가속화할 것으로 예상됩니다.
Reference
[arxiv] Neptune: The Long Orbit to Benchmarking Long Video Understanding
Published: (Updated: )
Author: Arsha Nagrani, Mingda Zhang, Ramin Mehran, Rachel Hornung, Nitesh Bharadwaj Gundavarapu, Nilpa Jha, Austin Myers, Xingyi Zhou, Boqing Gong, Cordelia Schmid, Mikhail Sirotenko, Yukun Zhu, Tobias Weyand
http://arxiv.org/abs/2412.09582v1