VEGGIE: 지시에 따른 비디오 편집의 혁신

VEGGIE는 MLLM과 커리큘럼 학습 전략을 활용하여 사용자 지시에 따른 비디오 편집, 접지, 추론을 통합하는 혁신적인 엔드투엔드 프레임워크입니다. 다양한 작업과 복잡한 지시 사항에 대한 강력한 성능과 제로샷 능력을 통해 미래 비디오 콘텐츠 제작 및 편집 방식에 혁신을 가져올 것으로 기대됩니다.

최근 비디오 확산 모델의 발전으로 비디오 편집이 향상되었지만, 통합된 프레임워크 내에서 지시 편집과 다양한 작업(예: 추가, 제거, 변경)을 처리하는 것은 여전히 어려운 과제였습니다. Shoubin Yu를 비롯한 연구진이 발표한 논문은 이러한 문제를 해결하기 위해 VEGGIE(Video Editor with Grounded Generation from Instructions) 라는 혁신적인 솔루션을 제시합니다.

VEGGIE는 사용자의 지시에 따라 비디오 개념 편집, 접지 및 추론을 통합하는 간단하면서도 강력한 엔드투엔드 프레임워크입니다. 비디오와 텍스트 쿼리가 주어지면, VEGGIE는 먼저 MLLM(Multi-Modal Large Language Model) 을 사용하여 사용자의 의도를 해석하고 비디오 컨텍스트에 접지합니다. 이를 통해 픽셀 공간 응답을 위한 프레임별 접지된 작업 쿼리가 생성되고, 확산 모델은 이러한 계획을 렌더링하여 사용자 의도에 맞는 편집된 비디오를 생성합니다.

다양한 작업과 복잡한 지시 사항을 지원하기 위해 VEGGIE는 커리큘럼 학습 전략을 채택합니다. 먼저 대규모 지시 이미지 편집 데이터를 사용하여 MLLM과 비디오 확산 모델을 정렬하고, 그 후 고품질 다중 작업 비디오 데이터에 대해 엔드투엔드 미세 조정을 수행하는 방식입니다. 또한, 연구진은 이미지 투 비디오 모델을 활용하여 정적 이미지 데이터를 다양하고 고품질의 비디오 편집 샘플로 변환하는 새로운 데이터 합성 파이프라인을 도입했습니다.

실험 결과, VEGGIE는 다양한 편집 기술을 사용한 지시 비디오 편집에서 강력한 성능을 보여주었습니다. 다른 모델들이 다중 작업에 어려움을 겪는 반면, VEGGIE는 최고의 지시 기준 모델을 능가하는 성능을 달성했습니다. 뿐만 아니라, 비디오 객체 접지 및 추론 분할에서도 다른 기준 모델이 실패하는 상황에서 뛰어난 성능을 보였습니다. 이를 통해 다양한 작업들이 서로 어떻게 도움이 되는지 보여주며, 제로샷 다중 모달 지시 및 컨텍스트 내 비디오 편집과 같은 유망한 응용 프로그램을 강조합니다.

VEGGIE는 단순한 비디오 편집 도구를 넘어, 사용자의 의도를 정확하게 이해하고 다양한 작업을 수행하는 지능형 비디오 편집 시스템으로서, 미래 비디오 콘텐츠 제작 및 편집 방식에 혁신을 가져올 것으로 기대됩니다. 특히, 제로샷 능력은 사용자의 창의성을 더욱 자유롭게 발휘할 수 있도록 지원하며, 앞으로 더욱 발전된 기술을 통해 사용자 경험을 혁신적으로 변화시킬 가능성을 제시합니다.