멀티모달 입력으로 현실적인 인간 동작 생성: 마스크드 휴머노이드 컨트롤러(MHC) 등장!

Aayam Shrestha 외 연구진이 개발한 마스크드 휴머노이드 컨트롤러(MHC)는 멀티모달 입력을 기반으로 현실적이고 제어 가능한 인간 동작을 생성하는 혁신적인 기술입니다. 다양한 입력 방식에 대한 적응력과 실패 복구 능력을 갖춘 MHC는 로보틱스, 게임, 애니메이션 등 다양한 분야에 혁신을 가져올 것으로 기대됩니다.

최근, Aayam Shrestha, Pan Liu, German Ros, Kai Yuan, Alan Fern 등의 연구진이 발표한 논문 "Generating Physically Realistic and Directable Human Motions from Multi-Modal Inputs"는 인공지능 분야에 새로운 이정표를 제시합니다. 이 연구는 VR 컨트롤러, 부분적인 키포인트 애니메이션, 비디오 분석 등 다양한 입력(멀티모달)을 통해 현실적이고 물리적으로 정확한 인간 동작을 생성하는 기술에 초점을 맞추고 있습니다.

기존의 휴머노이드 컨트롤러는 특정 동작 데모 데이터에 의존하는 경우가 많았지만, 이번 연구에서 제시된 마스크드 휴머노이드 컨트롤러(MHC) 는 한 단계 더 발전했습니다. MHC는 부족하거나 불완전한 정보로부터도 원하는 동작을 생성할 수 있도록 설계되었으며, 여러 동작 시퀀스를 결합하고, 실패로부터 복구하는 능력까지 갖추고 있습니다. 이는 다양한 상황에 적응할 수 있는 범용적인 컨트롤러의 가능성을 보여주는 혁신적인 결과입니다.

핵심은 다중 목표 모방 학습(multi-objective imitation learning) 에 있습니다. 연구진은 증강 및 선택적 마스킹된 동작 데모 데이터를 사용하여 MHC를 훈련시켰습니다. 이를 통해 MHC는 동기화되지 않은 입력 명령에도 따라잡고, 부분적인 멀티모달 입력으로부터도 누락된 부분을 채워 완성된 동작을 생성할 수 있습니다. 87가지 다양한 기술을 학습한 MHC는 계획 프레임워크와 통합되어 새로운 사용자 정의 작업도 추가적인 미세 조정 없이 수행할 수 있다는 것을 보여주었습니다.

이 연구는 단순히 새로운 알고리즘을 제시하는 것을 넘어, 실제 세계의 다양한 상황에 적용 가능한 인공지능 기반 휴머노이드 컨트롤러 개발의 가능성을 열었습니다. 앞으로 MHC는 로보틱스, 게임 개발, 애니메이션 제작 등 다양한 분야에서 폭넓게 활용될 것으로 예상됩니다. 하지만, 더욱 현실적인 인간 동작 생성을 위해서는 감정 표현이나 미묘한 동작 표현 등 추가적인 연구가 필요할 것입니다.

잠재적 영향:

• 로보틱스: 더욱 자연스럽고 유연한 로봇 동작 구현
• 게임 개발: 현실적인 캐릭터 애니메이션 및 제어 시스템 개발
• 애니메이션 제작: 효율적인 애니메이션 제작 파이프라인 구축
• VR/AR: 몰입감 높은 가상 환경 구현