움직임을 말로 만들다: 텍스트 기반 모션 생성의 혁신, KETA

KETA 모델은 운동역학 구문(KP)을 활용하여 텍스트와 모션 간의 정밀한 정렬을 수행함으로써 기존 텍스트 기반 모션 생성 모델의 한계를 극복하고 향상된 성능을 달성했습니다. 이는 게임, 애니메이션 등 다양한 분야에 긍정적인 영향을 미칠 것으로 예상됩니다.

인공지능 분야에서 모션 합성은 점점 중요해지고 있습니다. 특히, 텍스트를 이용한 모션 생성(Text-to-Motion, T2M)은 자세한 모션 정보를 쉽게 얻을 수 있다는 장점이 있습니다. 최근 T2M 기술은 확산 모델(diffusion model)을 활용하여 텍스트를 기반으로 모션을 생성하지만, 자연어와 물리적 영역 간의 차이로 인해 텍스트와 완전히 일치하는 모션을 생성하는 데 어려움을 겪고 있습니다.

Yu Jiang, Yixing Chen, Xingyang Li 세 연구원이 발표한 논문, "KETA: Kinematic-Phrases-Enhanced Text-to-Motion Generation via Fine-grained Alignment"는 이러한 문제를 해결하기 위해 운동역학 구문(Kinematic Phrases, KP) 이라는 중간 표현 방식을 제시합니다. KP는 텍스트와 물리적 모션 간의 다리를 놓아주는 역할을 합니다.

KETA 모델은 다음과 같은 핵심 과정을 거칩니다.

1. 텍스트 분해: 언어 모델을 사용하여 입력 텍스트를 여러 개의 작은 텍스트 단위로 분해합니다.
2. 정렬: 생성된 모션에서 추출한 KP 세그먼트와 분해된 텍스트를 정렬하는 정렬기를 학습시킵니다. 이를 통해 확산 모델 기반 T2M 모델의 동작을 제어할 수 있습니다.
3. 훈련: 텍스트-KP 정렬 손실을 보조 목표로 사용하여 모델을 학습시킵니다.
4. 추론: 디코더 구조에서 생성된 모션을 여러 번 개선하며, 각 단계에서 텍스트-KP 거리를 지침 신호로 사용합니다.

실험 결과, KETA는 기존 T2M 모델에 비해 R-precision과 FID 값에서 최대 1.19배, 2.34배 향상된 성능을 보였습니다. 여러 T2M 모델과 비교했을 때, KETA는 최고 또는 두 번째로 우수한 성능을 달성했습니다.

KETA는 텍스트 기반 모션 생성 분야에 중요한 진전을 가져왔습니다. 텍스트와 모션 간의 정밀한 정렬을 통해 보다 자연스럽고 정확한 모션 생성을 가능하게 함으로써, 게임, 애니메이션, 로봇 공학 등 다양한 분야에 활용될 수 있을 것으로 기대됩니다. 하지만, 모델의 복잡성과 계산 비용이 향후 개선 과제로 남아있습니다. 더욱 효율적이고 경량화된 모델 개발을 통해 실제 응용 분야에서의 활용도를 높일 수 있을 것입니다.