혁신적인 AI 추적 기술: 초소형 객체도 놓치지 않는 HGT-Track
중국과학원 자동화연구소 연구팀이 개발한 HGT-Track은 이종 그래프 변환기와 목표물 재탐지 모듈을 통해 다중 모달리티 영상에서 초소형 객체 추적의 정확도를 높였습니다. 새로운 벤치마크 VT-Tiny-MOT 공개를 통해 향후 연구의 발전에도 크게 기여할 것으로 예상됩니다.

초소형 객체 추적의 난관을 극복하다: HGT-Track의 등장
카메라에 잡히기조차 어려운 초소형 물체를 여러 대의 센서를 통해 추적하는 것은 컴퓨터 비전 분야의 오랜 난제였습니다. 약한 외형과 제한적인 특징으로 인해 기존의 다중 객체 추적 알고리즘은 한계를 보였습니다. 하지만 중국과학원 자동화연구소의 Xu Qingyu 박사 연구팀이 개발한 HGT-Track (Heterogeneous Graph Transformer based Multi-Tiny-Object Tracking) 은 이러한 난제를 혁신적으로 해결하는 돌파구를 제시합니다.
HGT-Track: 다중 모달리티 정보의 융합
HGT-Track의 핵심은 이종 그래프 변환기(HGT) 의 활용입니다. 연구팀은 다양한 모달리티(예: 가시광선(RGB) 및 열화상(T))의 이미지를 Transformer 기반 인코더로 처리하여 각 모달리티의 고유한 특징을 추출합니다. 여기서 HGT는 이러한 다양한 정보들을 시공간적으로 통합하여 객체 탐지 및 추적에 필요한 강력한 특징을 생성합니다. 단순한 정보 결합을 넘어, 서로 다른 센서 정보의 상호보완적 특성을 최대한 활용하는 것이 HGT-Track의 강점입니다.
목표물 재탐지 모듈 (ReDet): 추적의 지속성 확보
HGT-Track은 목표물 재탐지 모듈(ReDet) 을 도입하여 추적의 연속성을 보장합니다. 다양한 모달리티 간의 일관성을 유지하며, 일시적인 가시성 저하에도 추적 대상을 놓치지 않도록 설계되었습니다. 이를 통해 복잡한 환경에서도 안정적인 추적 성능을 확보할 수 있습니다.
VT-Tiny-MOT 벤치마크: 새로운 기준의 제시
연구팀은 RGB-T 융합 다중 초소형 객체 추적을 위한 최초의 벤치마크인 VT-Tiny-MOT (Visible-Thermal Tiny Multi-Object Tracking) 를 공개했습니다. 이는 HGT-Track의 성능을 객관적으로 평가하고, 향후 연구의 기준을 제시하는 중요한 의미를 갖습니다. 실험 결과, HGT-Track은 MOTA (Multiple-Object Tracking Accuracy) 및 ID-F1 점수에서 기존 최첨단 방법들을 능가하는 성능을 보였습니다. Github (https://github.com/xuqingyu26/HGTMT) 에서 코드와 데이터셋을 확인할 수 있습니다.
결론: 미래를 향한 한 걸음
HGT-Track은 다중 모달리티 정보 융합과 HGT, ReDet 모듈을 통해 초소형 객체 추적 분야의 새로운 가능성을 열었습니다. 자율주행, 보안 감시, 의료 영상 분석 등 다양한 분야에서 혁신적인 기술로 활용될 것으로 기대됩니다. 앞으로 VT-Tiny-MOT 벤치마크를 기반으로 더욱 발전된 연구가 이어질 것으로 예상되며, 초소형 객체 추적 기술의 발전에 크게 기여할 것입니다.
Reference
[arxiv] Heterogeneous Graph Transformer for Multiple Tiny Object Tracking in RGB-T Videos
Published: (Updated: )
Author: Qingyu Xu, Longguang Wang, Weidong Sheng, Yingqian Wang, Chao Xiao, Chao Ma, Wei An
http://arxiv.org/abs/2412.10861v1