2단계 흐름 모델 증류의 혁신: 초기 및 최종 속도 일치 기법

프라무크 쿵군 등 연구진의 새로운 두 시간 흐름 모델(TTFM) 증류 기법은 초기/최종 속도 일치(ITVM) 손실 함수를 통해 기존 방법보다 향상된 성능을 보였습니다. 다양한 데이터셋과 모델 아키텍처에서 우수한 성능을 입증하여 생성 모델 분야에 큰 영향을 미칠 것으로 예상됩니다.

최근, 프라무크 쿵군 등 연구진은 혁신적인 두 시간 흐름 모델(TTFM) 증류 기법을 발표했습니다. 이 연구는 시간에 따른 벡터 필드 $v_t(x)$를 학습하여 알려진 초기 분포($p_0$)와 목표 데이터 분포($p_1$) 사이를 보간하는 확률 경로 { $p_t$ }를 생성하는 흐름 일치 모델에 초점을 맞춥니다.

기존의 흐름 일치 모델은 하나의 함수 평가로 초기 시간 s의 분포에 속하는 샘플을 최종 시간 t의 분포에 속하는 샘플로 변환하는 데 어려움을 겪었습니다. 하지만 이 연구진은 단일 함수 평가만으로 이러한 변환을 가능하게 하는 TTFM, $\phi_{s,x}(t)$를 증류하는 새로운 방법을 제시했습니다.

핵심은 바로 초기/최종 속도 일치(ITVM) 손실 함수입니다. 이 손실 함수는 Boffi 등이 제안한 라그랑지안 흐름 맵 증류(LFMD) 손실 함수를 확장하여 초기 속도와 최종 속도를 별도로 일치시키는 방식을 채택했습니다. 구체적으로 초기 시간 s에서의 속도를 일치시키는 항을 추가하고, 최종 시간 t에서의 속도 항에서 미분을 제거했습니다. 또한, 지수 이동 평균(EMA)으로 안정화된 모델을 사용하여 최종 평균 속도를 계산함으로써 모델의 안정성을 높였습니다.

연구 결과는 놀랍습니다. 다양한 데이터셋과 모델 아키텍처에서 ITVM 손실 함수를 사용한 TTFM은 기존 방법보다 훨씬 향상된 성능을 보였습니다. 특히, 적은 단계의 생성 작업에서 뛰어난 성능을 입증했습니다. 이러한 성과는 TTFM 증류의 새로운 지평을 열었을 뿐만 아니라, 생성 모델 분야 전반에 큰 영향을 미칠 것으로 예상됩니다. 앞으로 이 연구를 바탕으로 더욱 발전된 생성 모델이 개발될 가능성이 높습니다.

주목할 점: 이 연구는 단순히 새로운 손실 함수를 제시하는 데 그치지 않고, EMA를 활용하여 모델의 안정성을 높이는 등 실용적인 측면까지 고려했다는 점에서 높이 평가할 만합니다. 이는 실제 응용에 있어 중요한 요소가 될 것입니다.