뼈대 기반 동작 인식의 혁신: 객체 상호작용 정보를 활용한 새로운 지평
Hao Wen 등 연구진은 인간-객체 상호작용 정보를 활용한 새로운 뼈대 기반 동작 인식 프레임워크를 제안, ST-VGCN 및 새로운 데이터셋(JXGC 24, NTU RGB+D+Object 60)을 통해 기존 기술의 한계를 극복하고 높은 정확도를 달성했습니다.

인간의 움직임을 정확하게 이해하는 것은 인공지능 분야의 중요한 과제입니다. 기존의 뼈대 기반 동작 인식 기술은 주로 인체 골격 정보에만 집중하여, 인간과 물체의 상호작용이 중요한 동작 인식에는 한계를 보였습니다. 하지만, Hao Wen 등 연구진의 획기적인 연구는 이러한 한계를 극복하고 새로운 가능성을 제시합니다.
연구진은 인간과 상호작용하는 물체 정보를 추가적으로 활용하는 새로운 액션 인식 프레임워크를 제안했습니다. 단순히 골격 정보만으로는 파악하기 어려운 동작들을, 물체와의 상호작용 정보를 통해 더욱 정확하게 인식할 수 있도록 한 것입니다. 이를 위해 공간-시간 가변 그래프 합성곱 신경망(ST-VGCN) 을 개발하여, 인체 골격과 물체 정보를 포함하는 가변 그래프(VG)를 효과적으로 모델링했습니다.
연구의 핵심은 새로운 데이터셋의 구축입니다. 연구진은 자체 학습 기법을 활용하여 JXGC 24라는 새로운 데이터셋과 NTU RGB+D+Object 60이라는 확장된 데이터셋을 구축했습니다. 이 데이터셋은 2백만 개 이상의 추가적인 물체 노드를 포함하고 있으며, 그래프 구조에 가변적인 노드 수를 수용할 수 있도록 설계되었습니다.
물체 정보 추가로 인한 과적합 문제를 해결하기 위해, 연구진은 'Random Node Attack'이라는 독창적인 데이터 증강 기법을 제안했습니다. 이는 과적합을 효과적으로 방지하고 모델의 일반화 성능을 향상시키는 데 크게 기여했습니다.
또한, 골격과 물체 노드 정보를 효과적으로 융합하고 균형을 맞추기 위해 CAF와 WNPool이라는 두 개의 융합 모듈과 Node Balance Loss를 도입했습니다. 이러한 개선을 통해 네트워크의 성능이 크게 향상되었습니다.
결과적으로, 이 연구는 NTU RGB+D 60 데이터셋에서 cross-subject split 기준 96.7%, cross-view split 기준 99.2%의 정확도를 달성하며, 기존 최첨단 기술을 뛰어넘는 성능을 보였습니다. 이 연구는 뼈대 기반 동작 인식 분야에 새로운 이정표를 제시하며, 인간-컴퓨터 상호작용, 스마트 홈, 의료 등 다양한 분야에 폭넓은 응용 가능성을 열었습니다. 앞으로 이 기술이 더욱 발전하여 우리의 삶을 편리하게 만들어줄 것으로 기대됩니다.
Reference
[arxiv] Improving Skeleton-based Action Recognition with Interactive Object Information
Published: (Updated: )
Author: Hao Wen, Ziqian Lu, Fengli Shen, Zhe-Ming Lu, Jialin Cui
http://arxiv.org/abs/2501.05066v1