FAVOR-Bench: 영상의 미세 동작 이해를 위한 종합 벤치마크의 등장

FAVOR-Bench와 FAVOR-Train은 MLLM의 미세 영상 동작 이해 능력을 평가하고 향상시키기 위한 혁신적인 벤치마크 및 데이터셋입니다. 실험 결과는 MLLM의 한계를 드러내는 동시에, 향후 연구 방향을 제시하며, 더욱 정교한 영상 이해 기술 개발에 기여할 것으로 기대됩니다.

영상 이해의 새로운 지평을 열다: FAVOR-Bench

최근 다중모드 대규모 언어 모델(MLLM)이 비디오 콘텐츠 이해 분야에서 놀라운 성능을 보여주고 있지만, 여전히 미세 영상 동작 이해에는 어려움을 겪고 있습니다. 중국과학원 등의 연구진이 개발한 FAVOR-Bench는 이러한 문제를 해결하기 위한 획기적인 솔루션을 제시합니다.

FAVOR-Bench는 1,776개의 비디오와 다양한 동작에 대한 정교한 수동 주석으로 구성된 종합적인 벤치마크입니다. 단순히 동작을 분류하는 것을 넘어, 8,184개의 객관식 문제-답변 쌍을 통해 세부적인 동작 이해 능력을 평가하는 폐쇄형 과제와, LLM-free 및 GPT 지원 캡션 평가 방법을 통해 동작에 대한 자유로운 설명 능력을 평가하는 개방형 과제를 모두 포함하고 있습니다. 특히 LLM-free 방법은 평가의 해석성과 재현성을 높여, 연구 결과의 신뢰도를 향상시키는 데 기여합니다.

21개의 최첨단 MLLM을 대상으로 실시한 포괄적인 실험 결과는 충격적이었습니다. 대부분의 모델이 비디오 동작의 세부적인 시간적 역학을 정확하게 이해하고 설명하는 데 어려움을 겪었던 것입니다. 이는 MLLM의 발전에 있어 중요한 한계점을 보여주는 동시에, 향후 연구 방향을 제시하는 중요한 발견입니다.

연구진은 이러한 한계를 극복하기 위해 FAVOR-Train이라는 새로운 데이터셋을 개발했습니다. 17,152개의 비디오와 미세 영상 동작 주석으로 구성된 FAVOR-Train은 MLLM의 성능 향상에 크게 기여할 것으로 기대됩니다. 실제로, Qwen2.5-VL 모델을 FAVOR-Train으로 미세 조정한 결과, TVBench, MotionBench, 그리고 FAVOR-Bench 모두에서 동작 관련 작업의 성능이 향상되는 것을 확인했습니다.

FAVOR-Bench와 FAVOR-Train은 더욱 강력한 영상 이해 모델 개발을 위한 귀중한 도구를 제공합니다. 이를 통해 앞으로 더욱 정교하고, 사람의 이해 수준에 가까운 영상 이해 기술이 개발될 것으로 기대하며, 자세한 내용은 프로젝트 페이지 (https://favor-bench.github.io/)를 참조하십시오.