꿈틀대는 AI의 눈: 인간의 감정까지 이해하는 비디오 AI를 향한 도전, HumanVBench
Zhou 등의 연구는 인간 중심적 비디오 이해 능력을 평가하기 위한 새로운 벤치마크 HumanVBench를 제시합니다. 자동화된 파이프라인을 통해 효율성을 높였으며, SOTA MLLM 평가 결과는 교차 모달 및 시간적 정렬의 중요성을 강조합니다. HumanVBench의 오픈소스 공개는 AI 기술 발전에 크게 기여할 것으로 예상됩니다.

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 눈부시지만, 여전히 인간 중심적인 비디오 이해라는 난관에 직면해 있습니다. 기존 벤치마크들은 주로 물체와 행동 인식에 초점을 맞춰, 비디오 속 인간의 감정, 행동, 그리고 말과 시각 정보의 정교한 조화까지는 고려하지 못했습니다. Zhou 등 (2024)의 연구는 이러한 한계를 극복하기 위해 혁신적인 벤치마크, 바로 HumanVBench를 제시합니다.
HumanVBench는 인간의 내면 감정과 외적 표현이라는 두 가지 측면을 섬세하게 다룹니다. 정적/동적, 단순/복잡, 단일 모달/교차 모달 등 17가지 세부 과제를 통해 다각적으로 비디오 MLLM의 능력을 평가합니다. 특히, 자동화된 비디오 주석 및 방해 요소 포함 QA 생성 파이프라인을 통해 인간의 개입을 최소화하고, 효율성을 극대화했습니다. 이는 인간 중심의 멀티모달 속성에 맞춤화된 최첨단 기술을 활용한 결과입니다.
16개의 최첨단(SOTA) 비디오 MLLM을 대상으로 한 종합 평가 결과는 현재 기술의 한계를 명확히 드러냅니다. 특히 교차 모달 및 시간적 정렬 부분에서 성능 저하가 두드러지게 나타났는데요. 이는 인간과 유사한 이해 수준에 도달하기 위해서는 추가적인 연구와 발전이 필수적임을 시사합니다.
더욱 고무적인 것은 HumanVBench가 오픈소스로 공개되어, 앞으로 비디오 MLLM의 발전과 다양한 실제 응용 분야에 크게 기여할 수 있다는 점입니다. AI가 단순히 물체를 인식하는 수준을 넘어, 인간의 복잡한 감정과 행동까지 이해하는 날이 머지않았음을 보여주는 중요한 이정표라 할 수 있습니다. 이러한 발전은 자율주행, 의료, 교육 등 다양한 분야에 혁신적인 변화를 가져올 것으로 기대됩니다. 앞으로 HumanVBench를 기반으로 더욱 정교하고 인간적인 AI가 개발될 수 있기를 기대하며, AI 연구의 새로운 장이 열리기를 고대합니다. 🤔🤖👏
Reference
[arxiv] HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data
Published: (Updated: )
Author: Ting Zhou, Daoyuan Chen, Qirui Jiao, Bolin Ding, Yaliang Li, Ying Shen
http://arxiv.org/abs/2412.17574v1