SKALD: 혁신적인 AI 기반 영상 편집 기술의 등장

SKALD는 텍스트 의존도를 최소화한 학습 기반 샷 어셈블리 방법으로, 기존 기술 대비 성능과 속도 향상을 보이며 사용자 선호도 테스트에서도 우수성을 입증했습니다. 이는 AI 기반 영상 편집 기술의 혁신적인 발전을 보여주는 사례입니다.

최근 AI 기반 영상 편집 기술 분야에서 괄목할 만한 성과가 발표되었습니다. Chen Yi Lu 등 연구진이 개발한 SKALD는 기존의 텍스트 기반 영상 편집의 한계를 극복하고, 학습 기반의 지능적인 샷 어셈블리(Shot Assembly)를 통해 보다 자연스럽고 일관성 있는 다중 샷 비디오 생성을 가능하게 하는 기술입니다.

SKALD의 핵심은 Learned Clip Assembly (LCA) 점수입니다. 이는 샷들 간의 시간적 및 의미적 관계를 정량적으로 평가하는 학습 기반 지표로, 단순히 텍스트 정보에 의존하지 않고 샷들의 시각적 연관성을 정교하게 분석합니다. 이를 통해 단순 나열이 아닌, 스토리텔링에 기반한 자연스러운 영상 흐름을 구현합니다. 여기에 효율적인 빔 서치 알고리즘을 결합하여 여러 샷을 조합하는 과정에서 발생할 수 있는 계산 복잡도 문제를 해결했습니다.

연구진은 제한된 데이터로 효과적인 학습을 위해 두 가지 새로운 학습 과제를 제안했습니다. 첫째는 샷 일관성 학습(Shot Coherence Learning) 으로, 대조 학습을 통해 일관성 있는 시퀀스와 그렇지 않은 시퀀스를 구분하는 능력을 학습시킵니다. 둘째는 특징 회귀(Feature Regression) 으로, 학습된 표현을 실수값 일관성 점수로 변환하는 과정입니다. 이러한 혁신적인 학습 방식은 인간의 개입을 최소화하면서도 높은 성능을 달성하는 데 기여했습니다.

SKALD는 시각적 일관성에만 의존하는 기본 모델과, 필요에 따라 추가적인 텍스트 정보를 통합하는 SKALD-text 두 가지 변형으로 개발되었습니다. VSPD 및 새롭게 제작된 MSV3C 데이터셋을 사용한 실험 결과, SKALD는 기존 최고 성능 방법에 비해 IoU(Intersection over Union)가 최대 48.6% 향상되었고, 속도는 43% 빨라졌습니다. 더욱 놀라운 것은 사용자 연구 결과입니다. 참가자의 45%가 SKALD로 생성된 영상을 선호했으며, 이는 텍스트 기반 어셈블리 방법(22%)보다 훨씬 높은 수치입니다.

결론적으로, SKALD는 AI 기반 영상 편집 기술의 새로운 지평을 열었습니다. 학습 기반의 지능적인 샷 어셈블리와 효율적인 알고리즘, 그리고 혁신적인 학습 방식을 통해, 보다 자연스럽고 일관성 있는 영상 제작을 가능하게 하는 SKALD는 앞으로 영상 제작 분야에 혁명적인 변화를 가져올 것으로 기대됩니다.