Tarsier2: 영상 이해의 새 지평을 연 거대 비전-언어 모델
Tarsier2는 4000만 개의 비디오-텍스트 쌍으로 사전 훈련된 대규모 비전-언어 모델로, 세밀한 시간적 정렬 및 DPO 훈련을 통해 GPT-4o, Gemini 1.5 Pro 등 최고 수준의 모델들을 능가하는 성능을 보였습니다. 영상 질의응답, 영상 기반 추론 등 다양한 과제에서 최고 성능을 기록하며 영상 이해 분야에 혁신을 가져왔습니다.

Tarsier2: 영상 이해의 혁신
최근, 중국 연구진이 개발한 Tarsier2라는 새로운 거대 비전-언어 모델(LVLM)이 영상 이해 분야에 혁신을 불러일으키고 있습니다. 단순한 영상 묘사를 넘어, 영상에 대한 포괄적이고 정확한 이해를 제공하는 Tarsier2는 기존의 최첨단 모델들을 압도하는 성능을 자랑합니다.
세 가지 핵심 업그레이드
Tarsier2의 놀라운 성능은 다음 세 가지 핵심 업그레이드를 통해 가능해졌습니다.
데이터 확장: 기존 1100만 개에서 4000만 개로 비디오-텍스트 쌍의 사전 훈련 데이터를 대폭 확장했습니다. 이는 단순히 데이터의 양적 증가뿐 아니라, 다양성 확보에도 기여하여 모델의 이해 폭을 넓혔습니다. 더욱 풍부하고 다양한 데이터를 학습함으로써, Tarsier2는 더욱 정교하고 상세한 영상 묘사를 생성할 수 있게 되었습니다.
세밀한 시간적 정렬: 지도 학습 과정에서 세밀한 시간적 정렬을 수행했습니다. 이는 영상의 시간적 흐름을 보다 정확하게 파악하고, 시계열 데이터의 상호 관계를 효과적으로 학습하는 데 중요한 역할을 합니다. 이를 통해 Tarsier2는 영상 내의 사건 순서와 연관성을 더욱 정확하게 이해할 수 있습니다.
모델 기반 샘플링 및 DPO 훈련: 모델 기반 샘플링을 사용하여 선호도 데이터를 자동으로 구성하고, DPO(Direct Preference Optimization) 훈련을 통해 모델을 최적화했습니다. 이러한 혁신적인 훈련 기법은 Tarsier2의 성능을 한층 더 끌어올렸습니다. 특히, DPO 훈련은 모델의 성능을 보다 효율적으로 개선하는 데 기여했습니다.
놀라운 성능
실험 결과, Tarsier2-7B는 GPT-4o, Gemini 1.5 Pro와 같은 최고 수준의 독점 모델들을 능가하는 성능을 보였습니다. DREAM-1K 벤치마크에서 GPT-4o보다 F1 점수가 2.8% 향상되었고, Gemini-1.5-Pro보다 5.8%나 향상되었습니다. 인간 평가에서도 GPT-4o보다 8.6%, Gemini-1.5-Pro보다 24.9%나 높은 성능을 기록했습니다. 뿐만 아니라, 영상 질의응답, 영상 기반 추론, 환각 테스트, 구현 질의응답 등 15개의 공개 벤치마크에서 최고 성능을 달성하며 다재다능함을 입증했습니다.
결론
Tarsier2는 단순히 영상을 묘사하는 것을 넘어, 영상을 이해하는 새로운 가능성을 제시합니다. 이 모델의 등장은 자율 주행, 의료 진단, 교육 등 다양한 분야에 혁신을 가져올 것으로 기대됩니다. 앞으로 Tarsier2의 발전과 응용 분야 확장에 대한 기대감이 높아지고 있습니다.
Reference
[arxiv] Tarsier2: Advancing Large Vision-Language Models from Detailed Video Description to Comprehensive Video Understanding
Published: (Updated: )
Author: Liping Yuan, Jiawei Wang, Haomiao Sun, Yuchen Zhang, Yuan Lin
http://arxiv.org/abs/2501.07888v2