혁신적인 몇 번의 시도만으로 행동을 파악하는 기술: 사고 과정(Chain-of-Thought) 기반 텍스트 추론

본 연구는 텍스트 정보와 Chain-of-Thought 추론을 활용하여 few-shot TAL의 성능을 크게 향상시켰으며, 새로운 데이터셋을 통해 인간 행동 이상 감지 분야로의 응용 가능성을 제시했습니다.

기존 기술의 한계를 넘어서다:

지금까지의 시계열 행동 위치 파악(TAL) 기술은 방대한 양의 정교한 데이터를 필요로 했습니다. 몇 번의 시도만으로 새로운 행동 유형을 파악하는 few-shot TAL은 이러한 데이터 의존성을 줄이려는 시도였지만, 영상 정보만을 사용하여 정확도 향상에 한계가 있었습니다. Hongwei Ji, Wulian Yun, Mengshi Qi, Huadong Ma 연구팀은 이러한 한계를 극복하기 위해 획기적인 연구를 진행했습니다.

텍스트 정보 활용의 힘:

연구팀은 텍스트 정보를 활용하여 few-shot TAL의 정확성을 높이는 새로운 방법을 제시했습니다. 텍스트는 행동에 대한 풍부한 의미 정보를 제공하며, 이를 효과적으로 활용하면 행동의 공통점과 차이점을 더욱 정확하게 파악할 수 있습니다. 특히, 연구팀은 '사고 과정'(Chain-of-Thought, CoT) 추론이라는 혁신적인 방법을 도입했습니다.

CoT 추론과 시각-언어 모델(VLM), 대규모 언어 모델(LLM)의 조화:

CoT 추론은 VLM과 LLM을 활용하여 영상에 대한 텍스트 설명을 단계적으로 생성하는 방식입니다. 이를 통해 단순히 영상 정보만으로는 파악하기 어려운 행동의 미묘한 차이까지도 포착할 수 있게 됩니다. 이는 마치 사람이 행동을 분석할 때 단순히 영상만 보는 것이 아니라, 상황과 맥락을 고려하여 추론하는 과정과 유사합니다. 연구팀은 또한, 쿼리 영상과 지원 영상 간의 다양한 수준에서 정렬을 수행하는 의미 인식 텍스트-시각 정렬 모듈을 설계하여 영상과 텍스트 정보 간의 연관성을 더욱 강화했습니다.

놀라운 성과와 미래:

ActivityNet1.3과 THUMOS14 데이터셋에서의 실험 결과, 연구팀의 방법은 기존 방법보다 훨씬 우수한 성능을 보였습니다. 특히, 단일 및 다중 인스턴스 시나리오 모두에서 그 효과가 두드러졌습니다. 더욱 고무적인 것은, 연구팀이 Human-related Anomaly Localization이라는 새로운 데이터셋을 제시하면서 TAL 기술을 인간 행동 이상 감지 분야에 적용할 수 있는 가능성을 열었다는 점입니다. 연구팀은 코드, 데이터, 벤치마크를 공개하여 다른 연구자들의 후속 연구를 지원할 예정입니다. 이 연구는 컴퓨터 비전 분야에 중요한 발전을 가져올 뿐만 아니라, 다양한 분야에서 행동 분석 및 이상 감지 기술의 발전에 크게 기여할 것으로 기대됩니다.