OVO-Bench: 온라인 비디오 이해의 새로운 기준을 제시하다
OVO-Bench는 시간적 인식 능력을 강조하는 새로운 비디오 LLM 벤치마크로, 기존 모델의 한계를 드러내고 온라인 비디오 이해 분야의 발전을 촉진할 것으로 기대됩니다.

온라인 비디오의 시대입니다. 틱톡, 유튜브 등 플랫폼에서 쏟아지는 엄청난 양의 영상 데이터는 새로운 기회와 동시에, 이를 이해하고 활용하는 기술의 한계를 드러냅니다. 기존 비디오 LLM들은 주로 오프라인 환경, 즉 전체 영상을 한꺼번에 분석하는 방식에 초점을 맞춰왔습니다. 하지만 온라인 환경은 다릅니다. 실시간으로 변화하는 영상 스트림을 이해하고, 질문의 시점에 따라 동적으로 응답해야 합니다. 바로 이 점이 이번에 소개할 OVO-Bench의 핵심입니다.
Li Yifei 등 15명의 연구진이 개발한 OVO-Bench (Online-VideO-Benchmark)는 시간적 인식(Temporal Awareness) 을 중시하는 새로운 비디오 LLM 벤치마크입니다. 이는 질문이 제기된 시점을 고려하여 동적으로 추론하는 능력을 의미합니다. 오프라인 모델이 완성된 영상을 정적으로 분석하는 것과 달리, 온라인 모델은 영상 스트림을 점진적으로 처리하고 시점에 따라 응답을 조정해야 합니다. 이러한 시간적 인식은 온라인 비디오 이해의 핵심이지만, 기존 벤치마크에서는 충분히 고려되지 않았습니다.
OVO-Bench는 이러한 한계를 극복하기 위해 세 가지 시나리오를 제시합니다.
- 역추적(Backward tracing): 질문에 답하기 위해 과거 사건을 추적합니다.
- 실시간 이해(Real-time understanding): 현재 시점에서 발생하는 사건을 이해하고 응답합니다.
- 미래 대응(Forward active responding): 정확한 답변을 위해 충분한 미래 정보가 확보될 때까지 응답을 지연합니다.
OVO-Bench는 12가지 과제, 644개의 고유한 비디오, 약 2,800개의 정교한 메타 주석(정확한 시간 정보 포함)으로 구성됩니다. 자동 생성 파이프라인과 사람의 검수를 결합하여 고품질 데이터셋을 구축했습니다. 이를 바탕으로 비디오 LLM을 비디오 타임라인을 따라 체계적으로 질문하는 평가 파이프라인을 개발했습니다.
9개의 비디오 LLM을 평가한 결과는 놀라웠습니다. 기존 벤치마크에서 우수한 성능을 보였던 모델들도 온라인 비디오 이해에서는 인간 수준에 크게 못 미치는 것으로 나타났습니다. 이는 현재 비디오 LLM의 한계를 명확히 보여주는 결과입니다. 연구진은 OVO-Bench가 비디오 LLM의 발전을 촉진하고 온라인 비디오 추론 분야의 미래 연구를 위한 중요한 기반이 될 것으로 기대하고 있습니다. OVO-Bench 벤치마크와 코드는 https://github.com/JoeLeelyf/OVO-Bench에서 확인할 수 있습니다.
이 연구는 온라인 비디오 이해라는 새로운 영역에서 기술의 한계와 발전 가능성을 동시에 보여주는 중요한 사례입니다. 앞으로 OVO-Bench를 통해 더욱 정교하고 강력한 비디오 LLM의 등장을 기대해 볼 수 있습니다.
Reference
[arxiv] OVO-Bench: How Far is Your Video-LLMs from Real-World Online Video Understanding?
Published: (Updated: )
Author: Yifei Li, Junbo Niu, Ziyang Miao, Chunjiang Ge, Yuanhang Zhou, Qihao He, Xiaoyi Dong, Haodong Duan, Shuangrui Ding, Rui Qian, Pan Zhang, Yuhang Zang, Yuhang Cao, Conghui He, Jiaqi Wang
http://arxiv.org/abs/2501.05510v1