셜록: 다중 장면 비디오 이상 이벤트 추출 및 위치 파악을 위한 혁신적인 LLM

마쥔샤오 등 연구진이 개발한 셜록(Sherlock) LLM은 비디오 내 이상 사건의 구조적 의미 정보를 포착하여 추출 및 위치 파악 정확도를 향상시킨 혁신적인 모델입니다. 전역-국소 공간 정보 활용 및 공간 불균형 문제 해결을 위한 독창적인 모듈을 통해 기존 모델들을 뛰어넘는 성능을 입증했습니다.

셜록: 범죄 현장을 분석하는 AI, 비디오 속 이상 현상을 밝히다

최근 마쥔샤오(Junxiao Ma) 등 연구진이 발표한 논문 “셜록: 다중 장면 비디오 이상 이벤트 추출 및 위치 파악을 위한 전역-국소 공간 감응형 대규모 언어 모델(LLM)”은 비디오 이상 감지(VAD) 분야에 혁신적인 돌파구를 제시합니다. 기존 VAD 연구는 각 프레임이 정상인지 비정상인지만 판별하는 데 초점을 맞춰, 비디오 내 이상 사건의 구조적 의미 정보(무엇, 언제, 어디서 이상 사건이 발생했는가)를 간과하는 한계가 있었습니다.

하지만 이번 연구는 다중 장면 비디오 이상 이벤트 추출 및 위치 파악(M-VAE) 이라는 새로운 패러다임을 제시합니다. 이를 통해 이상 사건의 주체, 유형, 객체, 장면을 포함하는 4가지 정보를 추출하고, 해당 이벤트의 위치까지 정확하게 파악하는 것을 목표로 합니다. 연구진은 이 새로운 과제가 전역-국소 공간 모델링과 전역-국소 공간 균형이라는 두 가지 주요 과제에 직면한다고 지적합니다.

이러한 문제 해결을 위해 연구진은 셜록(Sherlock) 이라는 이름의 전역-국소 공간 감응형 대규모 언어 모델(LLM) 을 개발했습니다. 이는 마치 셜록 홈즈처럼 비디오 속 '범죄' 즉, 이상 사건을 추적하는 역할을 합니다. 셜록은 전역-국소 공간 강화 MoE(GSM) 모듈과 공간 불균형 조절기(SIR) 를 통해 각각의 과제를 해결합니다. 자체적으로 구축한 M-VAE 지시 데이터셋을 사용한 광범위한 실험 결과, 셜록은 기존의 여러 고급 비디오-LLM을 능가하는 성능을 보였습니다. 이는 M-VAE 과제에서 전역-국소 공간 정보의 중요성과 셜록이 이러한 정보를 효과적으로 포착하는 능력을 입증합니다.

결론적으로, 이 연구는 비디오 이상 감지 분야에 새로운 가능성을 제시하며, 향후 AI 기반 비디오 분석 및 보안 시스템 발전에 크게 기여할 것으로 기대됩니다. 셜록은 단순한 이상 감지 시스템을 넘어, 비디오 내 사건의 의미를 이해하고 설명하는 지능형 시스템으로 진화하는 중요한 발걸음이라 할 수 있습니다.