GPT-4o 기반의 혁신적인 영상 캡션 평가 지표 G-VEval 등장!
본 기사는 GPT-4o 기반의 새로운 영상 캡션 평가 지표 G-VEval과 새로운 평가 데이터셋 MSVD-Eval에 대한 소개입니다. G-VEval은 기존 지표들의 한계를 극복하고 인간의 평가와 높은 상관관계를 보이며, 영상 캡션 평가 분야의 혁신을 가져올 것으로 기대됩니다.

영상 캡션 생성 기술의 발전과 함께, 그 성능을 정확하게 평가하는 지표의 중요성이 더욱 커지고 있습니다. 하지만 기존의 BLEU, METEOR, CIDEr, ROUGE와 같은 지표들은 의미의 깊이를 제대로 반영하지 못하는 한계를 가지고 있었습니다. CLIP-Score, PAC-S, Polos와 같은 훈련 기반 지표들도 제로샷(zero-shot) 환경에서는 성능이 저하되는 문제가 있었죠. 심지어 최신 거대 언어 모델 기반 지표들 조차도 미묘한 인간의 선호도를 정확하게 반영하지 못하는 경우가 많았습니다.
이러한 문제점들을 해결하기 위해, Tony Cheng Tong 등 연구진이 G-VEval이라는 획기적인 새로운 지표를 개발했습니다. G-Eval에서 영감을 받아, 강력한 GPT-4o를 기반으로 구축된 G-VEval은 거대 다중 모달 모델의 사고 연쇄(chain-of-thought) 추론을 활용하여 영상과 이미지 캡션 모두에 대한 평가를 수행합니다. 특히, 참조 없는(reference-free), 참조만 있는(reference-only), 그리고 두 가지를 결합한(combined) 세 가지 모드를 지원하여 다양한 상황에 유연하게 적용될 수 있습니다.
더 나아가, 연구진은 기존 데이터셋의 모호한 평가 기준을 개선하기 위해 정확성(Accuracy), 완성도(Completeness), 간결성(Conciseness), 관련성(Relevance) 의 네 가지 차원으로 구성된 새로운 영상 캡션 평가 데이터셋 MSVD-Eval을 제시했습니다. 이는 인간 전문가와 평가 지표 모두에게 더욱 투명하고 일관된 평가 기준을 제공합니다.
결과적으로, G-VEval은 기존 지표들보다 인간의 평가와 훨씬 높은 상관관계(Kendall tau-b와 Kendall tau-c 기준)를 보임으로써 그 우수성을 입증했습니다. 다양한 캡션 작업에 유연하게 적용될 수 있는 G-VEval은 거대 언어 모델이 영상 콘텐츠를 이해하는 데 있어 간단하면서도 효과적인 접근 방식을 제시하며, 자동 캡션 생성 기술의 발전에 크게 기여할 것으로 기대됩니다. 자세한 내용은 GitHub에서 확인할 수 있습니다.
핵심: G-VEval은 GPT-4o를 활용하여 인간의 평가와 높은 상관관계를 보이는, 혁신적인 영상 및 이미지 캡션 평가 지표입니다. MSVD-Eval 데이터셋과 함께, 영상 캡션 평가 분야의 새로운 기준을 제시했습니다.
Reference
[arxiv] G-VEval: A Versatile Metric for Evaluating Image and Video Captions Using GPT-4o
Published: (Updated: )
Author: Tony Cheng Tong, Sirui He, Zhiwen Shao, Dit-Yan Yeung
http://arxiv.org/abs/2412.13647v2