훈련 없이 확산 모델 속도 3배 향상: AB-Cache의 혁신

중국과학원 연구진이 개발한 AB-Cache는 확산 모델의 속도를 3배 향상시키는 혁신적인 캐싱 기법으로, 이론적 토대를 바탕으로 높은 정확도와 실시간 처리 성능을 제공합니다.

최근 놀라운 성과를 보이는 확산 모델은 이미지와 비디오 생성 분야를 혁신하고 있지만, 반복적인 잡음 제거 과정으로 인해 추론 속도가 느리다는 단점이 있습니다. 이 문제를 해결하기 위해 기존에는 캐싱 기반의 가속화 방법이 제시되었지만, 이론적 기반이 부족하고 단순한 계산 재사용에 의존하여 성능 저하를 초래하는 경우가 많았습니다.

중국과학원(CAS) 소속 연구진은 이러한 문제에 대한 해결책으로 AB-Cache라는 혁신적인 방법을 제안했습니다. 연구진은 2차 아담스-바쉬포스(Adams-Bashforth) 방법을 통해 확산 모델의 잡음 제거 과정을 분석하여, 연속적인 단계의 출력 간 선형 관계가 존재함을 밝혀냈습니다. 이는 이웃 단계의 출력이 U자 형태의 유사성 패턴을 보이는 이유를 설명하는 중요한 발견입니다.

AB-Cache는 이러한 발견을 바탕으로, 단순히 캐시된 결과를 재사용하는 대신, 고차 아담스-바쉬포스 방법을 확장하여 더욱 효율적인 캐싱 기법을 제시합니다. 절단 오차는 O(h^k)로 제한되어 높은 정확도를 유지합니다. 여기서 h는 단계 크기, k는 아담스-바쉬포스 방법의 차수입니다.

연구진은 HunyuanVideo와 FLUX.1-dev를 포함한 다양한 이미지 및 비디오 확산 모델과 여러 스케줄러를 사용하여 광범위한 실험을 진행했습니다. 그 결과, AB-Cache는 원래 성능 수준을 유지하면서 거의 3배의 속도 향상을 달성하는 놀라운 결과를 보였습니다. 이는 생성 품질을 저하시키지 않고 실시간 응용이 가능하다는 것을 의미합니다.

이 연구는 확산 모델의 속도 향상에 대한 새로운 이정표를 제시하며, 향후 실시간 이미지 및 비디오 생성 응용 분야에 획기적인 발전을 가져올 것으로 기대됩니다. AB-Cache는 단순한 속도 향상을 넘어, 이론적 토대에 기반한 체계적인 접근 방식을 제시하여 확산 모델 연구에 새로운 방향을 제시합니다. 특히, 절단 오차에 대한 엄밀한 분석은 AB-Cache의 안정성과 신뢰성을 보장하는 중요한 요소입니다.