잡음 제거 점수 증류(DSD): 저품질 데이터로부터 고품질 이미지 생성의 혁신

Tianyu Chen 등 연구진이 발표한 잡음 제거 점수 증류(DSD)는 저품질 데이터를 활용하여 고품질 이미지 생성 모델을 학습하는 새로운 방법입니다. 잡음이 포함된 데이터로 사전 훈련된 확산 모델을 한 단계 생성기로 증류하여 고품질 이미지를 생성하며, 이론적으로도 깨끗한 데이터 분포의 고유 공간을 식별하여 생성기를 규제하는 효과가 있음을 보였습니다. 과학, 의료 등 데이터 확보가 어려운 분야에서 큰 파급 효과를 기대할 수 있습니다.

잡음 제거 점수 증류(DSD): 저품질 데이터에서 피어나는 고화질 이미지

최근 고해상도의 사실적인 이미지 생성 분야에서 확산 모델(Diffusion Model) 이 놀라운 성과를 거두고 있습니다. 하지만 이러한 모델들은 고품질의 훈련 데이터에 크게 의존하기 때문에, 깨끗한 데이터가 부족하거나 얻기 어려운 과학 분야에서는 적용에 한계가 있었습니다.

이러한 문제를 해결하기 위해 등장한 것이 바로 잡음 제거 점수 증류(Denoising Score Distillation, DSD) 입니다. Chen Tianyu 등 연구진이 발표한 이 혁신적인 기법은 저품질 데이터로부터 고품질 이미지 생성 모델을 학습하는 놀라운 성과를 보여줍니다.

DSD의 핵심 아이디어는 간단하면서도 강력합니다. 먼저, 잡음이 포함된 저품질 데이터만을 사용하여 확산 모델을 사전 훈련합니다. 이후, 이렇게 훈련된 모델을 한 단계 생성기(one-step generator) 로 증류하는 과정을 거쳐, 깨끗하고 고품질의 이미지를 생성하는 것입니다.

기존의 점수 증류는 주로 확산 모델의 속도 향상에 초점을 맞춰왔지만, DSD는 저품질 데이터 환경에서 생성 모델 자체의 성능 향상에 중점을 두고 있습니다. 다양한 잡음 수준과 데이터셋에 걸쳐 DSD는 일관되게 생성 성능을 향상시키는 것으로 나타났습니다. (Fig. 1 참조)

더 나아가, 연구진은 선형 모델 설정에서 DSD가 깨끗한 데이터 분포의 공분산 행렬 고유 공간을 식별하여 생성기를 암묵적으로 규제한다는 이론적 근거를 제시했습니다. 이는 점수 증류를 단순한 효율성 도구가 아닌, 특히 저품질 데이터 환경에서 생성 모델을 개선하는 메커니즘으로 재해석하는 중요한 발견입니다.

DSD는 과학 연구, 의료 영상 처리, 기타 데이터 확보가 어려운 분야에서 고품질 이미지 생성 모델을 구축하는데 혁신적인 전기를 마련할 것으로 기대됩니다. 이 연구는 저품질 데이터의 한계를 극복하고 AI 기술의 활용 범위를 획기적으로 확장하는 중요한 발걸음입니다.