움직임과 외형 분리: 텍스트-비디오 확산 모델을 통한 맞춤형 동작 생성

중국 연구진이 텍스트-비디오 확산 모델을 사용한 동작 맞춤화 기술의 한계를 극복하는 새로운 방법을 제시했습니다. '시간적 주의력 정제'와 '외형 고속도로' 전략을 통해 움직임과 외형 정보를 효과적으로 분리하여, 텍스트 설명과 참조 비디오 모두를 충실히 반영하는 고품질 비디오 생성을 가능하게 했습니다.

중국 연구진, 텍스트-비디오 확산 모델의 한계 극복!

Huijie Liu 등 중국 연구진이 발표한 논문 "Separate Motion from Appearance: Customizing Motion via Customizing Text-to-Video Diffusion Models"은 텍스트-비디오 확산 모델(DM)을 사용하여 동작을 맞춤화하는 혁신적인 방법을 제시했습니다. 기존의 동작 맞춤화 기술은 참조 비디오의 움직임을 모델에 반영하는 과정에서 외형 정보까지 함께 학습되어, 결과적으로 원하는 외형을 생성하는 능력이 저하되는 문제점을 안고 있었습니다.

문제 해결의 핵심: 움직임과 외형의 분리

이 논문에서 연구진은 이 문제를 해결하기 위해 움직임과 외형 정보를 분리하는 것에 초점을 맞췄습니다. 기존 연구들처럼 움직임 LoRA(Low-Rank Adaptation)를 학습하여 움직임 개념을 인코딩하는 방식을 따르지만, 여기에 두 가지 핵심 전략을 추가했습니다.

1. 시간적 주의력 정제 (TAP): 사전 훈련된 Value 임베딩을 기반으로 새로운 움직임을 생성하는데 필요한 기본 요소들을 활용, 시간적 주의력만을 재구성하여 움직임을 생성합니다. 즉, 외형 정보의 간섭 없이 순수하게 움직임 정보만을 학습하는 것입니다.

2. 외형 고속도로 (AH): U-Net의 스킵 연결 시작점을 각 시간적 주의력 모듈의 출력에서 각 공간적 주의력 모듈의 출력으로 변경합니다. 이를 통해 움직임 정보와 외형 정보의 흐름을 효과적으로 분리하고, 외형 생성 능력을 향상시킵니다.

실험 결과: 텍스트와 참조 비디오 모두 충실히 반영

광범위한 실험 결과, 이 방법은 기존 방법들에 비해 텍스트 설명과 더 일치하는 외형과 참조 비디오와 더 일관된 움직임을 가진 비디오를 생성하는 것으로 나타났습니다. 이는 텍스트-비디오 생성 분야에서 괄목할 만한 발전으로, 앞으로 더욱 사실적이고 다양한 비디오 생성을 가능하게 할 것으로 기대됩니다.

결론: 움직임과 외형의 조화로운 결합

본 연구는 단순히 움직임을 생성하는 것을 넘어, 텍스트로부터 제시된 외형 정보와 참조 비디오의 움직임 정보를 효과적으로 통합하는 새로운 가능성을 제시했습니다. 시간적 주의력 정제와 외형 고속도로라는 두 전략의 조합은 텍스트-비디오 생성 분야의 중요한 진전이며, 앞으로 더욱 발전된 AI 기반 비디오 생성 기술을 기대하게 만듭니다.