튜닝 없이도 가능해! 동기화된 샘플링으로 긴 영상 생성의 혁신을 이룬 SynCoS

김수빈, 오승욱, 왕주현, 이준영, 신진우 연구원 팀이 개발한 SynCoS는 기존의 긴 영상 생성 모델의 한계를 극복하고, 동기화된 샘플링 전략을 통해 매끄러운 전환과 장기적인 일관성을 확보한 혁신적인 기술입니다.

최근 텍스트-비디오 확산 모델의 발전으로 단일 프롬프트를 이용한 고품질 단편 영상 생성이 가능해졌지만, 현실 세계의 긴 영상을 한 번에 생성하는 것은 여전히 난제입니다. 데이터 부족과 높은 계산 비용이 걸림돌이죠. 이 문제를 해결하기 위해 기존 모델을 확장하는 '튜닝 프리' 방식이 등장했지만, 주로 인접 프레임 간의 부드러운 전환에만 집중하여 내용의 흐트러짐(content drift) 과 장기적인 의미적 일관성 상실이라는 문제점을 안고 있었습니다.

김수빈, 오승욱, 왕주현, 이준영, 신진우 연구원 팀은 이러한 문제를 해결하기 위해 동기화된 결합 샘플링(Synchronized Coupled Sampling, SynCoS) 이라는 새로운 추론 프레임워크를 제안했습니다. SynCoS는 인접 프레임뿐 아니라 멀리 떨어진 프레임까지 장기적인 일관성을 유지하는 혁신적인 기술입니다.

SynCoS는 서로 다른 두 가지 샘플링 전략, 즉 역방향 샘플링과 최적화 기반 샘플링을 결합합니다. 역방향 샘플링은 국소적인 전환의 매끄러움을, 최적화 기반 샘플링은 전역적인 일관성을 담당합니다. 하지만, 이 두 가지 샘플링을 단순히 번갈아 사용하면 샘플링 경로가 어긋나 프롬프트의 지시가 제대로 반영되지 않고 의도치 않은 내용 변경이 발생할 수 있습니다. SynCoS는 이 문제를 해결하기 위해 고정된 기준 시간 단계와 기준 노이즈를 이용하여 두 샘플링을 완벽하게 동기화합니다. 마치 정교한 오케스트라처럼 각 파트가 완벽한 조화를 이루는 것이죠.

광범위한 실험 결과, SynCoS는 기존 방식보다 훨씬 매끄러운 전환과 우수한 장기적인 일관성을 달성하며 정량적, 정성적으로 모두 우수한 성능을 보였습니다. SynCoS는 긴 영상 생성 분야에 새로운 가능성을 제시하며, 앞으로 더욱 발전된 긴 영상 생성 기술 개발의 중요한 발걸음이 될 것입니다.👏