혁신적인 AI 제스처 생성: 의도를 담은 움직임

류 핀신 등 연구진이 개발한 'Intentional-Gesture' 프레임워크는 AI 기반 제스처 생성의 새로운 지평을 열었습니다. 의도를 중심으로 제스처를 생성하여, 기존의 한계를 극복하고 더욱 자연스럽고 의미있는 상호작용을 가능하게 합니다.

인간다운 상호작용을 위한 AI의 도약: 의도 기반 제스처 생성

인간은 말을 할 때 제스처를 통해 강조나 개념 설명 등 의사소통 의도를 효과적으로 전달합니다. 하지만 기존의 AI 기반 공동발화 제스처 생성 방법은 음성이나 텍스트 전사와 같은 표면적인 언어적 단서에만 의존하여, 제스처의 근본적인 의도를 이해하고 활용하는 데에는 한계가 있었습니다. 결과적으로, 음성과 리듬적으로는 동기화되지만 의미적으로는 빈약한 제스처가 생성되는 문제점이 있었습니다.

류 핀신 등 연구진은 이러한 문제를 해결하기 위해, 제스처 생성을 고차원적 의사소통 기능에 기반한 의도 추론 과제로 규정하는 혁신적인 프레임워크, **'Intentional-Gesture'**를 개발했습니다. 이는 단순히 음성에 맞춰 움직임을 생성하는 것이 아니라, 그 움직임 뒤에 숨겨진 의도를 이해하고 표현하는 데 초점을 맞춘 것입니다.

연구진은 BEAT-2 데이터셋에 제스처 의도 주석을 추가하여 'InG' 데이터셋을 새롭게 구축했습니다. 대규모 비전-언어 모델을 활용하여 자동으로 제스처의 의도를 텍스트 문장으로 요약하는 획기적인 방법을 통해 데이터셋의 질적 향상을 이루었습니다.

더 나아가, **'Intentional Gesture Motion Tokenizer'**라는 새로운 기법을 도입하여, 이러한 의도 주석을 토큰화된 운동 표현에 통합했습니다. 이는 시간적 정렬과 의미적 의미를 동시에 갖춘, 의도를 인식하는 제스처 합성을 가능하게 합니다. 실제 BEAT-2 벤치마크에서 최첨단 성능을 달성하며 그 효과를 입증했습니다.

Intentional-Gesture는 단순한 기술적 발전을 넘어, 디지털 휴먼 및 구현된 AI 분야에 있어 표현력 있는 제스처 생성의 새로운 기준을 제시합니다. 이 연구는 더욱 자연스럽고 인간다운 상호작용이 가능한 AI 시스템 개발에 중요한 이정표를 세웠다고 평가할 수 있습니다. 자세한 내용은 프로젝트 페이지 (https://andypinxinliu.github.io/Intentional-Gesture)를 참조하세요.