134시간 분량의 영상을 이해하는 혁신: VideoRAG의 등장

홍콩과기대 연구팀이 개발한 VideoRAG는 134시간 이상의 초장문 비디오 데이터를 처리하는 최초의 RAG 프레임워크입니다. 그래프 기반 텍스트 지식 접지와 다중 모달 컨텍스트 인코딩을 결합한 이중 채널 아키텍처를 통해 기존 방법보다 우수한 성능을 보였으며, 코드와 데이터셋이 공개되어 향후 연구에 기여할 것으로 기대됩니다.

최근 텍스트 데이터를 넘어, 방대한 비디오 데이터를 이해하고 활용하는 기술에 대한 관심이 높아지고 있습니다. 하지만 긴 비디오 데이터의 복잡한 시각 및 의미 정보를 효과적으로 처리하는 것은 여전히 어려운 과제입니다. 이러한 문제를 해결하기 위해 등장한 혁신적인 기술이 바로 VideoRAG입니다.

중국 홍콩과기대 연구팀(Xubin Ren, Lingrui Xu, Long Xia, Shuaiqiang Wang, Dawei Yin, Chao Huang) 이 개발한 VideoRAG는 기존의 RAG(Retrieval-Augmented Generation)를 획기적으로 발전시킨 모델입니다. 기존 RAG는 주로 텍스트 데이터에 집중되었지만, VideoRAG는 초장문 비디오를 위한 최초의 RAG 프레임워크입니다. 무려 134시간 이상의 비디오 데이터를 처리할 수 있다는 점이 가장 큰 특징입니다.

VideoRAG의 핵심은 이중 채널 아키텍처에 있습니다. 첫 번째 채널은 그래프 기반의 텍스트 지식 접지를 통해 비디오 간의 의미 관계를 효과적으로 포착합니다. 여러 비디오에 걸쳐 있는 정확한 지식 그래프를 구축하여 의미적 연관성을 유지하는 것이죠. 두 번째 채널은 다중 모달 컨텍스트 인코딩을 통해 시각적 특징을 효율적으로 보존합니다. 이 두 채널의 시너지 효과는 엄청난 양의 비디오 데이터에서도 의미 있는 정보를 추출할 수 있도록 합니다.

연구팀은 강의, 다큐멘터리, 엔터테인먼트 등 다양한 장르의 160개 이상의 비디오(총 134시간 이상) 로 구성된 LongerVideos 벤치마크를 통해 VideoRAG의 성능을 검증했습니다. 그 결과, VideoRAG는 기존 RAG 및 장문 비디오 이해 방법론에 비해 압도적인 성능 향상을 보였습니다. 더욱 놀라운 것은, VideoRAG의 소스 코드와 LongerVideos 벤치마크 데이터셋이 공개되었다는 점입니다. (https://github.com/HKUDS/VideoRAG)

이는 향후 초장문 비디오 데이터 분석 및 활용 연구에 큰 도움을 줄 것으로 기대됩니다. VideoRAG의 등장은 단순히 기술적 발전을 넘어, 방대한 비디오 데이터 속에 담긴 정보를 효과적으로 활용하는 새로운 시대를 열어갈 혁신적인 기술로 평가받을 수 있습니다. 앞으로 VideoRAG가 어떤 놀라운 성과를 만들어낼지 기대해 봅니다.