짧은 순간도 놓치지 않는다! Length-Aware DETR로 비디오 순간 검색의 정확도를 높이다
박서정, 최지호, 백경준, 심현정 연구팀은 짧은 순간의 정확한 위치 파악에 어려움을 겪는 기존 DETR 기반 Video Moment Retrieval 모델의 한계를 극복하기 위해 MomentMix와 Length-Aware Decoder를 제안했습니다. QVHighlights, TACoS, Charades-STA 데이터셋에서 SOTA 성능을 달성하며, GitHub에 코드를 공개했습니다.

짧은 순간도 놓치지 않는다! Length-Aware DETR로 비디오 순간 검색의 정확도를 높이다
YouTube와 같은 플랫폼의 확산으로 비디오 내 특정 순간을 찾는 기술, 즉 Video Moment Retrieval (MR)에 대한 관심이 폭발적으로 증가하고 있습니다. 하지만 기존의 DETR(DEtection TRansformer) 기반 모델들은 짧은 순간을 정확하게 찾는 데 어려움을 겪어왔습니다. 왜일까요?
박서정, 최지호, 백경준, 심현정 연구팀은 짧은 순간의 특징이 부족하다는 점을 발견했습니다. 마치 짧은 영화 장면을 묘사하는 단어가 부족해서 정확한 장면을 찾기 어려운 것과 같습니다. 연구팀은 이 문제를 해결하기 위해 MomentMix라는 새로운 방법을 제안했습니다. MomentMix는 전경과 배경의 특징을 강화하는 두 가지 증강 전략, ForegroundMix와 BackgroundMix를 사용하여 짧은 순간의 특징을 풍부하게 만들어줍니다.
하지만 문제는 여기서 끝나지 않았습니다. 분석 결과, 짧은 순간의 중심 위치를 정확하게 예측하는 데 어려움이 있다는 사실을 추가로 발견했습니다. 마치 사진 속 중요한 인물의 위치를 정확하게 지정하지 못하는 것과 같습니다. 이를 해결하기 위해 연구팀은 Length-Aware Decoder를 개발했습니다. 이는 새로운 이분 매칭(bipartite matching) 과정을 통해 순간의 길이 정보를 활용하여 중심 위치 예측의 정확도를 높입니다.
연구팀은 QVHighlights, TACoS, Charades-STA 등 여러 기준 데이터셋을 통해 Length-Aware DETR의 효과를 입증했습니다. 그 결과, 특히 짧은 순간의 위치 파악에서 뛰어난 성능을 보였고, 기존 최고 성능을 넘어서는 놀라운 결과를 얻었습니다. QVHighlights 데이터셋에서는 [email protected] 기준 2.46%, mAP 기준 2.57% 향상이라는 눈에 띄는 성과를 달성했습니다. 더욱이, 연구팀은 GitHub(https://github.com/sjpark5800/LA-DETR)에 코드를 공개하여 다른 연구자들이 쉽게 연구 결과를 재현하고 발전시킬 수 있도록 했습니다.
이 연구는 단순히 성능 향상을 넘어, 비디오 정보 검색 기술의 한계를 극복하고 새로운 가능성을 제시하는 중요한 발걸음입니다. 앞으로 Length-Aware DETR은 더욱 정교한 비디오 검색 시스템 개발에 중요한 역할을 할 것으로 기대됩니다.
Reference
[arxiv] Length-Aware DETR for Robust Moment Retrieval
Published: (Updated: )
Author: Seojeong Park, Jiho Choi, Kyungjune Baek, Hyunjung Shim
http://arxiv.org/abs/2412.20816v1