SCBench: 스포츠 중계를 통한 비디오 LLM의 새로운 기준


Ge Kuangzhi 등 연구진이 개발한 SCBench는 스포츠 영상 중계 생성이라는 새로운 과제를 통해 비디오 LLM의 성능을 종합적으로 평가하는 벤치마크입니다. 6차원 평가 지표 SCORES와 5,775개의 영상 클립으로 구성된 CommentarySet 데이터셋을 활용하여, 기존 벤치마크의 한계를 극복하고 더욱 정교한 평가를 가능하게 합니다. InternVL-Chat-2 모델이 가장 높은 성능을 보였으며, 곧 공개될 데이터셋은 향후 비디오 LLM 연구에 중요한 자원이 될 것으로 기대됩니다.

related iamge

혁신적인 스포츠 중계 벤치마크, SCBench 등장!

최근 비디오 LLM(대규모 언어 모델) 분야는 괄목할 만한 발전을 이루고 있습니다. 하지만, 특히 세밀한 시간적 시각적 능력을 평가하는 벤치마크는 매우 부족한 실정입니다. 기존 벤치마크는 자막이 있는 간단한 영화 클립을 사용하거나, 객관식 질문응답처럼 과제 형식이 다양하지 못해 모델의 깊이 있는 텍스트 생성 능력을 제대로 평가하지 못했습니다.

그 해결책으로 등장한 것이 바로 SCBench입니다. Ge Kuangzhi 등 연구진은 스포츠 영상의 복잡한 시각 정보, 순차적 이벤트, 감정적 요소를 활용하여 비디오 LLM의 능력을 평가하는 새로운 벤치마크를 제시했습니다. 스포츠 중계는 비디오 LLM에게 어려운 과제이기에, 이를 통해 모델의 성능을 더욱 정확하게 평가할 수 있습니다.

연구진은 SCBench를 구축하기 위해 다음과 같은 두 가지 핵심 요소를 도입했습니다.

  1. SCORES: 스포츠 중계 생성 과제에 맞춰 특별히 고안된 6차원 평가 지표입니다. 여기에 GPT 기반 평가 방법을 제안하여 평가의 정확성을 높였습니다.
  2. CommentarySet: 5,775개의 주석이 달린 영상 클립과 정답 레이블로 구성된 데이터셋입니다. SCORES 지표에 맞춰 제작되어, 모델의 성능을 정확하게 평가할 수 있도록 설계되었습니다. 곧 공개될 예정입니다.

SCBench를 이용한 실험 결과, InternVL-Chat-2 모델이 5.44점으로 가장 좋은 성능을 보였으며, 2위 모델보다 1.04점이나 앞섰습니다. 이는 SCBench가 비디오 LLM의 성능을 효과적으로 평가하는 척도임을 보여줍니다.

이 연구는 복잡한 시각 정보 이해 작업에서 모델의 전반적인 능력 향상에 새로운 관점을 제시하며, 비디오 LLM 연구에 중요한 기여를 할 것으로 기대됩니다. 곧 공개될 CommentarySet 데이터셋은 더욱 활발한 연구 활동을 촉진할 것입니다. SCBench는 비디오 LLM의 발전에 중요한 이정표가 될 것입니다.


주요 내용 한 줄 요약: Ge Kuangzhi 등 연구진이 개발한 SCBench는 스포츠 영상 중계 생성을 통해 비디오 LLM의 성능을 평가하는 혁신적인 벤치마크로, 새로운 평가 지표와 대규모 데이터셋을 제공하여 비디오 LLM 연구에 큰 기여를 할 것으로 예상됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] SCBench: A Sports Commentary Benchmark for Video LLMs

Published:  (Updated: )

Author: Kuangzhi Ge, Lingjun Chen, Kevin Zhang, Yulin Luo, Tianyu Shi, Liaoyuan Fan, Xiang Li, Guanqun Wang, Shanghang Zhang

http://arxiv.org/abs/2412.17637v1