혁신적인 골격 기반 동작 분할 네트워크: TRG-Net 등장

본 기사는 LLM을 활용한 혁신적인 골격 기반 동작 분할 네트워크 TRG-Net에 대한 소개입니다. TRG-Net은 기존 방식의 한계를 극복하고, 공간 및 시간적 상관관계를 효과적으로 모델링하여 최첨단 성능을 달성했습니다. 다양한 분야에 혁신적인 영향을 미칠 것으로 기대됩니다.

움직임의 언어를 이해하는 AI: TRG-Net의 놀라운 성능

최근, 지(Haoyu Ji) 박사 연구팀은 긴 비정형 시퀀스의 인간 골격 동작으로부터 다양한 동작을 분할하고 인식하는 골격 기반 시간적 동작 분할(STAS) 분야에 혁신적인 발전을 가져온 TRG-Net(Text-Derived Relational Graph-Enhanced Network) 을 발표했습니다. 기존 STAS 방법들은 관절과 프레임 간의 의존성을 설정하는 공간-시간 모델링과 단순한 원-핫 인코딩을 사용하여 한계를 보였습니다. 하지만 TRG-Net은 대규모 언어 모델(LLM) 의 잠재력을 활용하여 이러한 한계를 극복했습니다.

TRG-Net의 핵심은 두 가지 혁신적인 기법에 있습니다. 첫째, 동적 공간-시간 융합 모델링(DSFM) 은 LLM에서 생성된 텍스트 기반 관절 그래프(TJG)를 통합하여 채널 및 프레임 수준의 동적 적응을 통해 공간적 관계를 효과적으로 모델링합니다. 둘째, 절대-상대 클래스 간 감독(ARIS) 은 동작 특징과 텍스트 임베딩 간의 대조 학습을 통해 절대 클래스 분포를 규제하고, 텍스트 기반 동작 그래프(TAG)를 사용하여 동작 특징 간의 상대적 클래스 간 관계를 포착합니다.

연구팀은 추가적으로 공간 인식 향상 처리(SAEP) 기법을 통해 무작위 관절 폐색 및 축 회전을 도입하여 공간적 일반화 능력을 향상시켰습니다. 이러한 혁신적인 접근 방식을 통해 TRG-Net은 네 개의 공개 데이터 세트에서 최첨단 성능을 달성했습니다.

이는 단순한 기술적 진보를 넘어, AI가 인간의 움직임을 더욱 정교하고 심층적으로 이해할 수 있는 가능성을 보여주는 중요한 사건입니다. TRG-Net은 스포츠 분석, 의료 진단, 인간-컴퓨터 상호 작용 등 다양한 분야에 혁신적인 영향을 미칠 것으로 기대됩니다. 앞으로 TRG-Net의 발전과 응용에 대한 지속적인 관심이 필요합니다.

주요 연구진: 지하우(Haoyu Ji), 천보원(Bowen Chen), 렌웨이홍(Weihong Ren), 황웬쩌(Wenze Huang), 양즈하오(Zhihao Yang), 왕지용(Zhiyong Wang), 류홍하이(Honghai Liu)