움직임의 예술, D-LORD로 재창조하다: 새로운 모션 스타일 전이 및 리타겟팅 프레임워크 등장


Meenakshi Gupta 등이 개발한 D-LORD는 페어링된 데이터 없이 모션 스타일 전이와 리타겟팅이 가능한 혁신적인 프레임워크입니다. CMU XIA, MHAD, RRIS Ability 데이터셋을 이용한 실험 결과, D-LORD는 이 분야의 최초 일반화된 프레임워크임을 증명했습니다. 이는 AI 기반 애니메이션, 게임, VR 등 다양한 분야에 혁신을 가져올 것으로 기대됩니다.

related iamge

인공지능(AI) 기술의 발전은 이제 우리 주변의 세계를 넘어 가상 세계까지도 변화시키고 있습니다. 특히, 최근 주목받는 분야 중 하나가 바로 모션 캡처 기술과 AI를 결합한 모션 스타일 전이(Motion Style Transfer) 및 모션 리타겟팅(Motion Retargeting) 입니다. 이 분야에서 획기적인 발전을 이룬 연구가 등장했습니다. Meenakshi Gupta 등이 발표한 논문 “D-LORD for Motion Stylization”은 D-LORD(Double Latent Optimization for Representation Disentanglement) 라는 혁신적인 프레임워크를 소개합니다.

D-LORD: 데이터의 한계를 뛰어넘다

기존의 모션 스타일 전이 및 리타겟팅 기술은 대부분 페어링된 데이터, 즉 스타일이 서로 다른 동일한 동작의 데이터 세트를 필요로 했습니다. 하지만 D-LORD는 이러한 제약을 뛰어넘었습니다. D-LORD는 데이터 기반 잠재 최적화 기법을 통해 모션 시퀀스에서 클래스 정보(개인의 스타일, 감정) 와 콘텐츠 정보(걷기, 점프와 같은 동작 자체) 를 분리하는데 성공했습니다. 이는 마치 그림에서 대상의 형태(콘텐츠)와 화가의 화풍(클래스)을 분리하는 것과 같습니다. 이러한 분리 작업을 통해, D-LORD는 페어링된 데이터 없이 다양한 스타일로 모션을 변환하는 것이 가능해졌습니다.

적응형 인스턴스 정규화(Adaptive Instance Normalization)의 활용

D-LORD는 두 가지 정보를 효과적으로 분리한 후, 적응형 인스턴스 정규화(Adaptive Instance Normalization)를 활용하여 한 모션 시퀀스의 스타일을 다른 스타일로 변환합니다. 이는 마치 다양한 색감의 물감으로 동일한 그림을 재해석하는 것과 같습니다. 이 과정을 통해 D-LORD는 다양한 클래스와 콘텐츠 라벨에 대해 일반화된 성능을 보여줍니다.

실험 결과: 세 가지 데이터셋에서 검증된 성능

D-LORD의 효과는 CMU XIA (모션 스타일 전이), MHAD, RRIS Ability (모션 리타겟팅) 세 가지 데이터셋을 이용한 실험을 통해 검증되었습니다. 실험 결과는 D-LORD가 모션 스타일 전이 및 리타겟팅 분야에서 최초의 일반화된 프레임워크임을 보여주는 훌륭한 성과입니다. 이는 AI 기반 애니메이션, 게임, 가상현실 등 다양한 분야에 혁신적인 변화를 가져올 가능성을 시사합니다. 특히, 제한된 데이터만으로도 새로운 스타일의 모션을 생성할 수 있다는 점은 매우 고무적입니다.

미래를 향한 발걸음

D-LORD의 등장은 모션 스타일 전이 및 리타겟팅 기술의 새로운 장을 열었습니다. 앞으로 D-LORD를 기반으로 한 더욱 발전된 기술들이 등장하여, 우리가 상상하는 움직임을 현실로 만들어줄 날이 머지않았습니다. 이 연구는 단순한 기술적 발전을 넘어, 예술과 기술의 융합을 통해 새로운 가능성을 제시하는 중요한 의미를 지닙니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] D-LORD for Motion Stylization

Published:  (Updated: )

Author: Meenakshi Gupta, Mingyuan Lei, Tat-Jen Cham, Hwee Kuan Lee

http://arxiv.org/abs/2412.04097v1