VFX Creator: 제어 가능한 확산 변환기를 사용한 애니메이션 시각 효과 생성

본 연구는 사용자 친화적인 텍스트 설명과 정지 이미지를 통해 역동적인 시각 효과를 생성하는 새로운 VFX 생성 시스템인 VFX Creator를 제시합니다. Open-VFX라는 대규모 고품질 데이터셋과 비디오 확산 변환기를 기반으로 한 효율적인 프레임워크를 통해, 현실적이고 제어 가능한 고품질 VFX 생성이 가능해졌습니다.

영화 제작의 마법: AI 기반 VFX Creator 등장

영화 제작에서 시각 효과(VFX)는 마법과 환상을 현실로 만들어내는 핵심 요소입니다. 최근 생성형 AI의 발전으로 일반적인 이미지와 비디오 합성 분야가 크게 발전했지만, 제어 가능한 VFX 생성 분야는 아직 미개척 영역으로 남아있었습니다.

Xinyu Liu를 비롯한 연구팀은 이러한 한계를 극복하고자 VFX Creator라는 혁신적인 시스템을 개발했습니다. VFX Creator는 사용자 친화적인 텍스트 설명과 정지 이미지만으로 역동적인 시각 효과를 생성하는 애니메이션 VFX 생성 패러다임을 제시합니다.

Open-VFX 데이터셋: 현실감 넘어선 VFX의 기반

이 연구의 핵심은 바로 Open-VFX 데이터셋입니다. 15가지 다양한 효과 범주를 포함하는 고품질 VFX 비디오 데이터셋으로, 각 영상은 텍스트 설명, 공간 조건화를 위한 인스턴스 분할 마스크, 그리고 시간 제어를 위한 시작 및 종료 타임스탬프로 세밀하게 주석 처리되어 있습니다. 이 방대한 데이터셋은 VFX Creator 모델의 훈련과 성능 평가에 중요한 역할을 수행합니다.

VFX Creator: 사용자 친화적인 제어 기능

VFX Creator는 비디오 확산 변환기(Video Diffusion Transformer) 를 기반으로 구축된 프레임워크입니다. 핵심은 공간 및 시간 제어 가능한 LoRA 어댑터로, 최소한의 훈련 비디오만으로도 고품질의 VFX를 생성할 수 있도록 설계되었습니다. 특히, 플러그 앤 플레이 방식의 마스크 제어 모듈은 인스턴스 수준의 공간 조작을 가능하게 하고, 토큰화된 시작 및 종료 모션 타임스탬프는 텍스트 인코더와 함께 작동하여 효과의 타이밍과 속도를 정밀하게 제어할 수 있습니다.

새로운 가능성을 여는 VFX Creator

Open-VFX 테스트 세트에서의 광범위한 실험 결과, VFX Creator는 현실적이고 역동적인 효과 생성에서 최첨단 성능과 공간 및 시간 제어의 우수한 일반화 능력을 보여주었습니다. 연구팀은 시간 제어의 정밀도를 평가하기 위한 특수 지표도 도입했습니다. 전통적인 VFX 기술과 생성형 접근 방식을 결합한 VFX Creator는 효율적이고 고품질의 비디오 효과 생성을 위한 새로운 가능성을 열어주며, 폭넓은 사용자들에게 고급 VFX 기술을 제공할 것으로 기대됩니다.