시계열 토큰의 마법: 고품질 영상 추론 분할의 혁신, VRS-HQ
Gong et al.의 VRS-HQ 모델은 다중 모달 대규모 언어 모델과 혁신적인 시간적 동적 집계 및 토큰 기반 키프레임 선택 전략을 통해 기존 영상 추론 분할 방법의 한계를 극복하고 ReVOS 데이터셋에서 최고 성능을 달성했습니다. 공개될 코드와 모델 가중치는 향후 연구에 큰 영향을 미칠 것으로 예상됩니다.

영상 추론 분할(Video Reasoning Segmentation) 분야에 혁신적인 돌파구를 마련한 연구 결과가 공개되었습니다! Gong et al.의 논문, "The Devil is in Temporal Token: High Quality Video Reasoning Segmentation"은 기존 방법의 한계를 뛰어넘는 VRS-HQ 모델을 제시하며, 학계의 큰 주목을 받고 있습니다.
기존 방법들은 단일 특수 토큰에 의존하여 객체를 표현하는데, 이는 공간적 복잡성과 프레임 간 움직임을 제대로 포착하지 못하는 한계를 가지고 있었습니다. 하지만 VRS-HQ는 다중 모달 대규모 언어 모델(MLLM)을 활용하여 계층적 토큰에 풍부한 시공간적 특징을 주입하는 획기적인 접근 방식을 제시합니다.
VRS-HQ의 핵심 혁신은 시간적 동적 집계(TDA) 와 토큰 기반 키프레임 선택(TKS) 입니다. 프레임 단위 <SEG> 토큰과 시간 단위 <TAK> 토큰을 설계하여 MLLM의 자기 회귀 학습을 통해 국소 및 전역 정보를 효과적으로 포착합니다. 유사도 기반 가중치 합성 및 프레임 선택 전략을 적용하고, SAM2를 활용하여 키프레임 분할 및 전파를 수행합니다. 특히 TKS는 추론 중 SAM2의 폐색 점수를 기반으로 키프레임을 필터링하여 키프레임 위치 정확도를 향상시킵니다.
그 결과는 놀랍습니다! ReVOS 데이터셋에서 VRS-HQ는 VISA를 J&F 점수 기준 세 가지 하위 집합에서 각각 5.9%, 12.5%, 9.1% 앞지르는 압도적인 성능을 달성했습니다. 이는 VRS-HQ의 강력한 시간적 추론 및 분할 능력을 명확하게 보여줍니다. 더욱 기대되는 것은 VRS-HQ의 코드와 모델 가중치가 공개될 예정이라는 점입니다. 이는 다른 연구자들에게 새로운 가능성을 열어주고, 영상 추론 분할 분야의 발전을 더욱 가속화할 것으로 예상됩니다. 앞으로 VRS-HQ가 어떤 영향을 미칠지 지켜보는 것은 매우 흥미로운 일일 것입니다. 🎉
Reference
[arxiv] The Devil is in Temporal Token: High Quality Video Reasoning Segmentation
Published: (Updated: )
Author: Sitong Gong, Yunzhi Zhuge, Lu Zhang, Zongxin Yang, Pingping Zhang, Huchuan Lu
http://arxiv.org/abs/2501.08549v1