TaylorSeer: 확산 모델의 속도 한계를 뛰어넘다

류지아청 등 연구진이 개발한 TaylorSeer 알고리즘은 확산 모델의 속도 저하 문제를 해결하여 이미지 및 비디오 합성 분야에서 괄목할 만한 성능 향상과 가속화를 달성했습니다. GitHub에 공개된 코드를 통해 더욱 다양한 분야에서 활용될 것으로 기대됩니다.

고품질 이미지 및 비디오 합성 분야에서 혁신을 일으킨 확산 트랜스포머(DiT)는 여전히 높은 계산 비용이라는 난관에 직면해 있습니다. 실시간 응용에는 적합하지 않다는 것이죠. 기존의 해결책으로 특징 캐싱이 제시되었지만, 시간 간격이 클 경우 특징 유사성이 감소하여 오류가 증가하고 생성 품질이 저하되는 문제가 있었습니다.

류지아청(Jiacheng Liu) 등 연구진이 개발한 TaylorSeer는 이러한 문제에 대한 획기적인 해결책을 제시합니다. TaylorSeer의 핵심 아이디어는 미래 시점의 특징을 이전 시점의 값을 기반으로 예측하는 것입니다. 시간 경과에 따라 특징이 천천히 그리고 연속적으로 변화한다는 점에 착안하여, 테일러 급수 전개를 이용하여 고차 도함수를 근사하고 미래 시점의 특징을 예측합니다.

TaylorSeer의 성능은 실험을 통해 입증되었습니다. FLUX와 HunyuanVideo에서는 거의 손실 없는 4.99배 및 5.00배의 가속화를 달성했습니다. DiT에서는 4.53배 가속화 속도에서 기존 최고 성능(SOTA) 대비 FID(Fréchet Inception Distance)를 3.41만큼 낮추는 놀라운 결과를 보였습니다. 이는 품질 저하 없이 속도를 획기적으로 향상시켰음을 의미합니다.

연구진은 이미 GitHub(https://github.com/Shenyi-Z/TaylorSeer)에 코드를 공개하여 다른 연구자들의 활용을 지원하고 있습니다.

이 연구는 단순한 속도 향상을 넘어, 고품질 이미지 및 비디오 합성의 실시간 처리 가능성을 열었습니다. TaylorSeer는 AI 기반 영상 처리 및 생성 기술의 발전에 중요한 이정표를 세운 것으로 평가됩니다. 앞으로 TaylorSeer가 다양한 분야에서 어떻게 활용될지, 그리고 더욱 발전된 기술로 이어질지 기대됩니다. 더 나아가, 이 연구는 AI 모델의 효율성 향상에 대한 새로운 패러다임을 제시하며, 향후 AI 연구의 방향에 중요한 영향을 미칠 것으로 예상됩니다.

주요 연구진: 류지아청(Jiacheng Liu), 장창(Chang Zou), 류위안후이위(Yuanhuiyi Lyu), 천준제(Junjie Chen), 장린펑(Linfeng Zhang)