혁신적인 AI 기반 액션 품질 평가: 다중 스테이지 대조 회귀를 활용한 새로운 지평


본 기사는 계층적 자세 유도 다중 스테이지 대조 회귀 방식을 활용한 혁신적인 액션 품질 평가(AQA) 모델에 대한 연구 결과를 소개합니다. 다중 스케일 동적 시각-골격 인코더, 절차적 분할 네트워크, 다중 모달 융합 모듈을 통해 기존 AQA의 한계를 극복하고, 새롭게 주석이 달린 FineDiving-Pose 데이터셋을 통해 모델 성능을 향상시켰습니다. 실험 결과는 제안된 방법의 우수성을 보여주며, 소스 코드와 데이터셋 공개를 통해 학계 및 산업계에 기여할 것으로 기대됩니다.

related iamge

스포츠 경기에서 선수들의 동작 품질을 자동으로, 그리고 공정하게 평가하는 액션 품질 평가(Action Quality Assessment, AQA) 기술이 최근 주목받고 있습니다. 하지만 빠른 움직임과 미묘한 시각적 차이로 인해 정확한 평가가 어려웠습니다. 특히 다이빙처럼 여러 하위 동작으로 나뉘는 경기는 기존의 고정된 프레임 기반 분석으로 인해 시간적 연속성이 깨져 오류가 발생했습니다.

Qi Mengshi 박사를 비롯한 연구팀은 이러한 문제를 해결하기 위해 계층적 자세 유도 다중 스테이지 대조 회귀 방식을 제안했습니다. 이는 다중 스케일 동적 시각-골격 인코더를 통해 미세한 시공간적 특징을 포착하고, 절차적 분할 네트워크로 하위 동작을 효과적으로 분할하는 혁신적인 접근 방식입니다. 더 나아가, 물리적 구조적 사전 정보를 활용한 다중 모달 융합 모듈을 통해 모델의 학습 성능을 향상시켰습니다. 마지막으로 다중 스테이지 대조 학습 회귀 방식을 통해 차별적 표현을 학습하고 예측 결과를 출력합니다.

또한, 연구팀은 저품질의 기존 인간 자세 레이블 문제를 해결하기 위해 새롭게 주석이 달린 FineDiving-Pose 데이터셋을 공개했습니다. FineDiving 및 MTL-AQA 데이터셋을 사용한 실험 결과는 제안된 방법의 효과와 우수성을 입증했습니다. 소스 코드와 데이터셋은 Github 에서 확인할 수 있습니다.

이 연구는 AQA 분야의 새로운 가능성을 제시하며, 공정하고 정확한 스포츠 경기 평가 시스템 구축에 기여할 것으로 기대됩니다. 특히, 다이빙과 같은 복잡한 동작 평가에 큰 영향을 미칠 것으로 예상됩니다. 앞으로 이 기술이 다양한 분야의 액션 분석 및 평가에 활용될 수 있을지 기대됩니다.

핵심: 미세한 시공간적 특징 포착, 하위 동작 효과적 분할, 물리적 구조적 사전 정보 활용, 새롭게 주석 달린 데이터셋 공개


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Action Quality Assessment via Hierarchical Pose-guided Multi-stage Contrastive Regression

Published:  (Updated: )

Author: Mengshi Qi, Hao Ye, Jiaxuan Peng, Huadong Ma

http://arxiv.org/abs/2501.03674v1