MotionPRO: 압력 센서로 인간 모션 캡처의 한계를 뛰어넘다

난징대학교 연구팀이 개발한 MotionPRO는 압력 센서 데이터를 활용하여 인간 모션 캡처의 정확성과 현실성을 크게 높였습니다. 이는 가상 인간 및 로봇 제어 기술 발전에 중요한 기여를 할 것으로 기대됩니다.

압력의 힘: 인간 모션 캡처의 새로운 지평을 열다

기존의 모션 캡처(MoCap) 기술은 주로 시각적 유사성에 초점을 맞춰 왔습니다. 하지만 이로 인해 가상 인간이나 로봇 제어에 있어 시간 왜곡, 떨림, 공간적 문제(미끄러짐, 관통 등), 전반적인 궤적 정확도 저하 등의 문제가 발생했습니다.

난징대학교 연구팀은 이러한 문제를 해결하기 위해 인간 신체와 물리적 세계 간의 상호 작용에 주목하여 압력의 역할을 탐구했습니다. 그 결과, 압력, RGB, 광학 센서 데이터를 통합한 대규모 모션 캡처 데이터셋 MotionPRO를 구축했습니다. MotionPRO는 70명의 자원자들이 400가지 유형의 동작을 수행한 1240만 개의 포즈 프레임으로 구성되어 있습니다. 이는 단순한 시각 정보를 넘어, 물리적 상호작용의 중요한 측면을 포착한 획기적인 데이터셋입니다.

연구팀은 MotionPRO 데이터셋을 활용하여 두 가지 주요 과제에 도전했습니다.

1. 압력만을 이용한 자세 및 궤적 추정: 소형 커널 디코더와 장단기 어텐션 모듈을 통합한 네트워크를 제안하여 압력 정보만으로도 정확한 전반적인 궤적과 타당한 하체 자세를 추정할 수 있음을 증명했습니다. 이는 압력 데이터가 예상보다 훨씬 많은 정보를 담고 있음을 시사합니다.

2. 압력 및 RGB 정보 융합을 통한 자세 및 궤적 추정: 카메라 축을 따라 직교 유사성 제약과 수직축을 따라 전신 접촉 제약을 부과하여 압력 및 RGB 특징 맵을 융합하는 크로스 어텐션 전략을 개선했습니다. 실험 결과, 압력과 RGB 특징을 융합하면 목표 지표 측면에서 성능이 크게 향상될 뿐만 아니라, 가상 인간(SMPL)을 3D 환경에서 현실적으로 제어할 수 있음을 보여주었습니다. 이를 통해 다양한 센서 데이터의 효과적인 융합이 모션 캡처의 정확도를 극적으로 높일 수 있음을 알 수 있습니다.

더 나아가, 연구팀은 물리적 인식을 통합함으로써 인간형 로봇이 더욱 정밀하고 안정적인 동작을 수행할 수 있음을 보여주었습니다. 이는 물리적 상호작용을 고려한 AI 기반 로봇 공학 발전에 큰 기여를 할 것으로 기대됩니다. 프로젝트 페이지에서 더 자세한 정보를 확인할 수 있습니다.

이 연구는 단순한 기술적 진보를 넘어, 가상현실, 로봇 공학, 그리고 인공지능의 발전에 새로운 가능성을 제시하는 중요한 이정표가 될 것입니다. 압력 센서 기술을 활용한 모션 캡처의 발전은 더욱 현실적이고 상호작용적인 가상 세계와 더욱 정교하고 안정적인 로봇 시스템을 구축하는 데 크게 기여할 것으로 예상됩니다. 이는 궁극적으로 인간과 기계의 상호 작용을 혁신적으로 변화시킬 수 있는 잠재력을 가지고 있습니다.