PRIMAL: 아바타 학습을 위한 물리적으로 반응적이고 상호작용적인 모터 모델

Yan Zhang 등 연구진이 개발한 PRIMAL은 실시간 상호작용이 가능한 아바타 모터 시스템을 위한 혁신적인 모델입니다. 두 단계 학습 방식과 자기회귀 확산 모델을 통해 기존 모델의 한계를 극복하고, 물리 효과를 자연스럽게 구현하며, 실시간으로 외력에 반응하는 사실적이고 제어 가능한 움직임을 생성합니다. 최첨단 기준 모델을 능가하는 성능과 언리얼 엔진 구현 사례를 통해 향후 아바타 기술 발전에 크게 기여할 것으로 예상됩니다.

움직임의 혁명: PRIMAL이 이끄는 아바타 모션의 미래

상호작용형 아바타의 모터 시스템 구축은 오랫동안 AI 연구자들의 숙제였습니다. 지금까지의 모션 생성 모델들은 오프라인 설정, 속도 저하, 짧은 동작 길이, 비자연스러운 움직임 등의 한계를 가지고 있었죠. 하지만 이제, Yan Zhang 등 연구진이 개발한 PRIMAL(Physically Reactive and Interactive Motor Model for Avatar Learning) 이 이러한 한계를 뛰어넘는 혁신적인 해결책을 제시합니다.

PRIMAL은 자기회귀 확산 모델을 기반으로 하며, 최근 주목받는 기초 모델(Foundation Model)의 발전에서 영감을 얻어 두 단계 학습 방식을 채택했습니다. 먼저, 사전 학습 단계에서 수많은 초단위 모션 세그먼트로부터 모션 역학을 학습하여, 복잡한 움직임을 구성하는 기본적인 '모터 원형(motor primitives)'을 생성합니다. 이후 적응 단계에서는 ControlNet과 유사한 어댑터를 사용하여 의미있는 동작 생성과 공간 목표 달성을 위한 모터 제어를 미세 조정합니다.

놀라운 점은, 이 과정에서 물리 효과가 자연스럽게 나타난다는 것입니다! 단일 프레임의 초기 상태만으로도 아바타는 무제한적이고 사실적이며 제어 가능한 움직임을 생성할 수 있으며, 실시간으로 외력에도 반응합니다. 뿐만 아니라, 소수의 데이터만으로도 개인화된 동작이나 공간 제어 작업에 효율적으로 적응할 수 있습니다. 실험 결과, PRIMAL은 기존 최첨단 기준 모델들을 능가하는 성능을 보였으며, 언리얼 엔진에서 실시간으로 높은 반응성과 자연스러움을 가진 캐릭터 애니메이션 시스템을 구축하는 데 성공했습니다.

PRIMAL은 단순한 모션 생성 모델을 넘어, 실시간 상호작용이 가능한 아바타 개발의 새로운 지평을 열었습니다. 더 자세한 정보와 코드, 모델, 추가 결과는 https://yz-cnsdqz.github.io/eigenmotion/PRIMAL 에서 확인할 수 있습니다. 이 연구는 향후 게임, 영화, 가상현실 등 다양한 분야에서 아바타 기술의 발전에 크게 기여할 것으로 기대됩니다.