딥러닝 기반 자동 영화 편집 시스템 EditIQ: 혁신적인 시각적 스토리텔링의 탄생

AI 기반 자동 영화 편집 시스템 EditIQ는 LLM과 시각적 중요도 예측을 결합하여 고정된 광각 카메라 영상을 다양한 가상 카메라 앵글로 변환하고, 최적의 장면을 선택하여 시각적으로 풍부하고 몰입도 높은 영화를 제작합니다. BBC Old School 데이터셋과 극장 공연 영상을 통한 실험 결과, EditIQ는 경쟁 기법 대비 우수한 성능을 보였습니다.

고정된 광각 카메라로 촬영된 영상을 마치 전문 촬영팀이 찍은 것처럼 역동적이고 매력적인 영화로 변신시키는 획기적인 기술이 등장했습니다. Rohit Girmaji, Bhav Beri, Ramanathan Subramanian, Vineet Gandhi 가 개발한 EditIQ는 인공지능(AI) 기반의 자동 영화 편집 프레임워크로, 단순한 녹화 영상을 시각적으로 풍부하고 몰입도 높은 영상 콘텐츠로 탈바꿈시키는 놀라운 성능을 보여줍니다.

EditIQ는 고정된 광각 카메라 영상을 처리하여 마치 여러 대의 카메라가 동시에 촬영한 것과 같은 다양한 가상 카메라 앵글을 생성합니다. 이러한 가상 카메라 샷(러시)들은 자동 편집 알고리즘에 의해 조합되는데, 이 알고리즘은 시청자에게 가장 생생한 장면을 제공하는 것을 목표로 합니다.

핵심은 바로 대규모 언어 모델(LLM)과 시각적 중요도 예측의 결합입니다. LLM은 대화 흐름을 분석하여 장면의 핵심 요소를 이해하고, 시각적 중요도 예측은 중요한 시각 정보와 카메라 샷을 식별합니다. 이 두 가지 정보를 바탕으로, EditIQ는 샷 선택, 전환, 연속성을 결정하는 영화적 제약 조건을 고려하여 에너지 최소화 문제를 통해 최적의 편집 결과를 도출합니다.

결과적으로, EditIQ는 원본 스토리의 미적이고 시각적으로 매력적인 표현을 생성하면서 영화적 일관성과 매끄러운 시청 경험을 유지합니다. 20명의 참가자를 대상으로 한 BBC Old School 데이터셋 및 11개의 극장 공연 영상을 사용한 심리 물리적 연구를 통해 경쟁 기법 대비 EditIQ의 우수성이 입증되었습니다. (https://editiq-ave.github.io/ 에서 EditIQ의 영상 샘플 확인 가능)

EditIQ는 단순한 기술적 진보를 넘어, 영화 제작 과정의 혁신을 예고하며, 향후 다양한 영상 콘텐츠 제작 분야에서 폭넓은 활용 가능성을 보여줍니다. 더욱 발전된 AI 기반 영상 편집 기술의 등장이 기대됩니다.