StableMotion: 페어링되지 않은 데이터로 모션 청소 모델 학습하기

StableMotion은 페어링되지 않은 손상된 모션 캡처 데이터를 사용하여 고품질 모션을 생성하는 새로운 방법입니다. 모션 품질 지표를 도입하여 효율적인 모델 학습을 가능하게 하며, SoccerMocap 데이터셋을 통해 그 효과를 입증했습니다. 하지만 모션 품질 지표의 정확성 향상 및 다양한 데이터셋에 대한 적용성 검증이 필요합니다.

끊김 없는 움직임을 위한 혁신: StableMotion

모션 캡처(Mocap) 데이터는 센서의 부정확성이나 후처리 과정에서 시각적으로 불쾌한 아티팩트(artifact)가 자주 발생합니다. 이러한 손상된 데이터를 정리하는 것은 인간 전문가에게 상당한 수고와 시간을 요구하는 비용이 많이 드는 작업입니다. 기존의 데이터 기반 모션 정리 방법들은 이러한 과정을 자동화할 가능성을 제시하지만, 종종 도메인 내 페어링된 손상-정상 데이터를 필요로 합니다. 이러한 페어링된 데이터셋을 구성하려면 고품질의, 아티팩트가 상대적으로 없는 모션 클립에 접근해야 하며, 이는 많은 수작업을 필요로 합니다.

Yuxuan Mu 등 8명의 연구자들은 이러한 문제를 해결하기 위해 StableMotion이라는 간단하면서도 효과적인 방법을 제시했습니다. StableMotion의 핵심은 모션 품질 지표(motion quality indicators) 의 도입입니다. 이 지표는 수동 라벨링이나 휴리스틱 알고리즘을 통해 쉽게 주석을 달 수 있으며, 다양한 품질의 원시 모션 데이터에서 품질 인식 모션 생성 모델을 학습할 수 있도록 합니다. 테스트 시에는 이 지표를 사용하여 고품질의 모션을 생성하도록 모델을 유도할 수 있습니다.

StableMotion은 간단한 확산 기반 프레임워크를 통해 구현될 수 있으며, 손상된 프레임을 식별하고 수정하는 데 모두 사용할 수 있는 통합된 모션 생성-판별 모델을 생성합니다. 연구팀은 245시간 분량의 실제 축구 모션 아티팩트를 포함하는 SoccerMocap 데이터셋에 StableMotion을 적용하여 실제 시나리오에서 원시 모캡 데이터에 대한 모션 정리 모델 학습의 효과를 입증했습니다. 훈련된 모델은 다양한 모션 아티팩트를 효과적으로 수정하여 모션 팝(pop)과 정지 프레임을 각각 68%, 81% 감소시켰습니다. (자세한 결과는 https://youtu.be/3Y7MMAH02B4 참조)

이 연구는 페어링되지 않은 데이터를 활용하여 모션 정리 모델을 효율적으로 학습하는 획기적인 방법을 제시함으로써, 모션 캡처 데이터 처리의 효율성을 크게 높일 것으로 기대됩니다. 이는 게임 개발, 애니메이션 제작, 로보틱스 등 다양한 분야에 긍정적인 영향을 미칠 것입니다. 하지만, 모션 품질 지표의 정확성이 모델 성능에 큰 영향을 미칠 수 있다는 점을 고려해야 합니다. 향후 연구에서는 더욱 정교한 지표 개발 및 다양한 데이터셋에 대한 적용성 검증이 필요할 것입니다.