AI가 마스크를 쓰다? 이미지에서 실감나는 영상으로 변신시키는 혁신 기술 등장!
Guy Yariv 등 연구진이 개발한 새로운 이미지-비디오 생성 프레임워크는 마스크 기반 모션 경로를 활용하여 다중 객체 시나리오에서의 정확하고 일관된 객체 모션 생성 문제를 해결하고 최첨단 성능을 달성했습니다. 새로운 벤치마크 데이터셋도 함께 제시되었습니다.

최근 이미지를 실감나는 비디오로 변환하는 기술인 '이미지-비디오 생성(I2V)' 분야에서 괄목할 만한 연구 결과가 발표되었습니다. Guy Yariv 등 8명의 연구진은 "Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation" 논문을 통해 기존 기술의 한계를 뛰어넘는 혁신적인 프레임워크를 제시했습니다.
기존 기술의 한계와 혁신적인 해결책
기존 I2V 기술은 사진처럼 사실적인 영상을 생성하는 데 성공했지만, 특히 여러 객체가 등장하는 복잡한 장면에서 객체의 움직임을 정확하고 일관되게 표현하는 데 어려움을 겪었습니다. 연구진은 이 문제를 해결하기 위해 두 단계로 구성된 합성 프레임워크를 제안했습니다.
1단계: 마스크 기반 모션 경로를 중간 표현으로 생성합니다. 이는 객체의 의미 정보와 움직임을 동시에 포착하여 효율적이고 표현력 있는 모션 및 의미 정보를 담는 핵심 기술입니다. 마치 마스크를 통해 객체의 움직임을 추적하고 분석하는 것과 같습니다.
2단계: 1단계에서 생성된 마스크 기반 모션 경로를 바탕으로 비디오를 생성합니다. 여기서 핵심은 객체 수준 어텐션(attention) 입니다. 연구진은 공간적, 객체별 마스크 교차 어텐션과 마스크 시공간 자기 어텐션 목표를 활용하여 각 객체에 대한 프롬프트를 해당 잠재 공간 영역에 통합하고, 각 객체의 프레임 간 일관성을 유지합니다. 마치 각 객체에 대한 개별적인 주의를 기울여 움직임을 정교하게 생성하는 것과 같습니다.
괄목할 만한 성과와 새로운 벤치마크
연구진은 다양한 객체와 복잡한 움직임이 포함된 까다로운 벤치마크에서 실험을 진행하여, 제안된 방법이 시간적 일관성, 모션의 사실성, 텍스트 프롬프트 충실도 면에서 최첨단 성능을 달성함을 증명했습니다. 더 나아가, 단일 객체 및 다중 객체 I2V 생성을 위한 새로운 벤치마크를 제시하고, 그 우수성을 입증했습니다. 이는 앞으로 I2V 기술 발전에 중요한 기준이 될 것으로 기대됩니다. 자세한 내용은 프로젝트 페이지를 참조하세요.
결론
이 연구는 I2V 기술의 한계를 극복하고 새로운 가능성을 제시하는 획기적인 성과입니다. 마스크 기반 모션 경로를 활용한 독창적인 접근 방식과 엄격한 실험을 통해, AI가 이미지를 실감나는 비디오로 변환하는 기술 수준을 한 단계 끌어올렸습니다. 앞으로 이 기술은 영화, 게임, 교육 등 다양한 분야에서 활용될 것으로 예상되며, AI 기술 발전에 크게 기여할 것으로 기대됩니다.
Reference
[arxiv] Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation
Published: (Updated: )
Author: Guy Yariv, Yuval Kirstain, Amit Zohar, Shelly Sheynin, Yaniv Taigman, Yossi Adi, Sagie Benaim, Adam Polyak
http://arxiv.org/abs/2501.03059v1