VEGGIE: 지시 기반 비디오 편집의 새로운 지평을 열다

CMU 연구팀이 개발한 VEGGIE는 MLLM과 커리큘럼 학습 전략, 혁신적인 데이터 합성 파이프라인을 통해 사용자 지시에 기반한 다양한 비디오 편집 작업을 수행하는 획기적인 모델입니다. 다중 작업 능력과 우수한 성능으로 기존 모델들의 한계를 극복하고, 비디오 편집 분야의 새로운 가능성을 제시합니다.

최근 비디오 확산 모델의 발전으로 비디오 편집 기술이 향상되었지만, 여전히 다양한 작업(추가, 제거, 변경 등)을 통합된 프레임워크에서 처리하는 것은 어려운 과제였습니다. 카네기멜론대학교(CMU)를 비롯한 연구팀이 개발한 VEGGIE (Video Editor with Grounded Generation from Instructions) 는 이러한 문제를 해결하기 위한 획기적인 시도입니다.

VEGGIE는 사용자의 지시를 해석하고 비디오 컨텍스트에 접지하여 프레임별 접지 작업 쿼리를 생성하는 MLLM(대규모 언어 모델)을 활용합니다. 이후 확산 모델은 이러한 계획을 렌더링하여 사용자 의도에 맞는 편집된 비디오를 생성합니다. 단순한 추가/삭제를 넘어, 복잡하고 다양한 지시사항을 처리하기 위해 커리큘럼 학습 전략을 채택했습니다. 먼저 대규모 지시 이미지 편집 데이터로 MLLM과 비디오 확산 모델을 정렬한 후, 고품질 다중 작업 비디오 데이터로 엔드투엔드 미세 조정을 수행하는 방식입니다.

또한, 연구팀은 혁신적인 데이터 합성 파이프라인을 개발했습니다. 이미지-비디오 모델을 활용하여 정적 이미지 데이터에 역동성을 부여하여 다양하고 고품질의 비디오 편집 샘플을 생성하는 것입니다. 이를 통해 모델 학습에 필요한 양질의 데이터를 확보할 수 있었습니다.

실험 결과, VEGGIE는 다양한 편집 기술을 활용한 지시 비디오 편집에서 뛰어난 성능을 보였습니다. 기존 최고 성능의 기준 모델을 능가하는 것은 물론, 다중 작업에 어려움을 겪는 다른 모델들과 차별화되는 다재다능함을 증명했습니다. 특히 비디오 객체 접지 및 추론 분할 작업에서 다른 기준 모델들이 실패한 반면, VEGGIE는 우수한 결과를 보였습니다. 이러한 다중 작업의 상호 작용은 제로샷 다중 모달 지시 및 컨텍스트 내 비디오 편집과 같은 유망한 응용 분야를 제시합니다.

VEGGIE는 단순한 비디오 편집 도구를 넘어, 사용자의 의도를 정확하게 이해하고 복잡한 작업까지 수행하는 지능형 비디오 편집 시스템으로 발전할 가능성을 보여주는 획기적인 연구입니다. 앞으로 VEGGIE가 비디오 편집 분야에 어떤 영향을 미칠지, 그리고 어떻게 더욱 발전해 나갈지 기대됩니다. 이는 단순한 기술적 발전을 넘어, 콘텐츠 제작 방식과 사용자 경험에 혁신적인 변화를 가져올 수 있음을 시사합니다.