캐스케이드 확산 모델의 가능도 훈련: 계층적 부피 보존 매핑을 통한 혁신


Henry Li, Ronen Basri, Yuval Kluger의 연구는 계층적 부피 보존 매핑을 통해 캐스케이드 확산 모델의 가능도 훈련 문제를 해결하고, 밀도 추정, 무손실 압축, 이상치 탐지 등 다양한 분야에서 최첨단 성능을 달성했습니다. Laplacian 피라미드와 웨이블릿 변환을 활용한 이 방법은 Earth Mover's Distance와의 연관성을 통해 이론적 근거를 확보했습니다.

related iamge

Henry Li, Ronen Basri, Yuval Kluger 세 연구원이 발표한 논문 "Likelihood Training of Cascaded Diffusion Models via Hierarchical Volume-preserving Maps"는 고해상도 이미지 생성 능력이 뛰어난 캐스케이드 모델의 가능도(likelihood) 훈련에 대한 획기적인 접근 방식을 제시합니다. 캐스케이드 모델은 다중 스케일 생성 모델로, 높은 해상도에서도 인상적인 샘플을 생성할 수 있다는 장점을 가지고 있습니다. 하지만 기존의 다중 스케일 모델에서는 가능도 함수를 계산하는 것이 매우 어려웠습니다. 각 중간 단계에서 추가적인 변수가 도입되어 가능도 평가를 위한 추적 가능한 주변 확률을 구하는 것이 사실상 불가능했기 때문입니다.

이 논문에서는 계층적 부피 보존 매핑(hierarchical volume-preserving maps) 이라는 새로운 방법을 제시하여 이 문제를 해결합니다. 이 매핑은 공간적으로 구조화된 데이터를 계층적으로 분해하면서 잠재 공간의 국소적 왜곡을 방지합니다. 특히, Laplacian 피라미드와 웨이블릿 변환이라는 두 가지 잘 알려진 다중 스케일 모델링 기법을 활용하여 잠재 공간을 효과적으로 표현하고, 가능도 함수를 각 스케일의 결합 가능도로 직접 표현할 수 있도록 합니다.

놀랍게도, 이러한 매핑을 통해 가능도 함수를 직접 표현할 수 있게 되었을 뿐만 아니라, 밀도 추정, 무손실 압축, 이상치 탐지 등 다양한 벤치마크에서 최첨단 성능을 달성했습니다. 특히, Laplacian 피라미드와 웨이블릿 변환은 기존 기술 대비 상당한 성능 향상을 보였습니다.

더 나아가 연구진은 이러한 경험적 성능 향상의 이론적 근거를 탐구하여, Earth Mover's Distance (EMD, 지구 이동 거리)를 기반으로 한 점수 매칭(score matching)과의 깊은 연관성을 밝혀냈습니다. EMD는 지각적 유사성을 측정하는 데 널리 사용되는 지표입니다.

이 연구는 캐스케이드 확산 모델의 가능도 훈련에 대한 새로운 가능성을 제시할 뿐만 아니라, 다양한 응용 분야에서 뛰어난 성능을 보여주는 실용적인 방법을 제공합니다. 자세한 내용과 코드는 GitHub에서 확인할 수 있습니다. 이 연구는 AI 분야의 발전에 크게 기여할 것으로 기대됩니다. 특히, 고해상도 이미지 생성 및 다양한 가능도 기반 작업에 혁신적인 영향을 미칠 것으로 예상됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Likelihood Training of Cascaded Diffusion Models via Hierarchical Volume-preserving Maps

Published:  (Updated: )

Author: Henry Li, Ronen Basri, Yuval Kluger

http://arxiv.org/abs/2501.06999v1