압축된 생성 모델의 놀라운 부활: 특이값 스케일링(SVS)의 등장
김현진, 유재준 연구팀이 개발한 특이값 스케일링(SVS) 기법은 GAN과 Diffusion Model 모두에 적용 가능한 범용적인 생성 모델 압축 기술로, 추가 학습 비용 없이 성능 향상 및 학습 속도 향상을 달성합니다.

인공지능(AI) 분야에서 생성 모델(Generative Model)의 발전은 눈부시지만, 그 크기와 연산량은 여전히 난제입니다. 김현진, 유재준 연구원이 이끄는 연구팀은 이러한 문제에 대한 획기적인 해결책을 제시했습니다. 바로 특이값 스케일링(Singular Value Scaling, SVS) 입니다.
기존 압축 기술의 한계: 효율성 vs. 성능
기존의 모델 압축 기술들은 주로 중요한 연결만 유지하는 가지치기(Pruning)에 집중했습니다. 하지만 가지치기된 가중치의 영향을 간과하여 미세조정이나 지식 증류 과정에서 비효율성이 발생하는 문제점이 있었습니다. 특히, StyleGAN과 같이 특정 아키텍처에 맞춰 개발된 GAN 중심의 기술이 대부분이며, Diffusion Model에 대한 연구는 초기 단계에 머물러 있었습니다. 즉, GAN과 Diffusion Model 모두에 적용 가능한 보편적인 기술의 부재가 큰 과제였습니다.
SVS: GAN과 Diffusion Model을 아우르는 혁신
김현진, 유재준 연구팀은 이러한 문제를 해결하기 위해 SVS를 제안했습니다. SVS는 가지치기된 가중치를 개선하는 다용도 기술로, GAN과 Diffusion Model 모두에 적용 가능합니다. 연구팀은 가지치기된 가중치가 주요 특이 벡터를 보유하는 경향이 있고, 이로 인해 미세조정 효율이 떨어지고 성능이 저하될 수 있다는 점을 밝혀냈습니다. SVS는 이러한 특이값 간의 차이를 최소화하여 가중치 초기화를 개선함으로써 미세조정 과정을 향상시키는 혁신적인 접근 방식을 제시합니다.
놀라운 결과: 성능 향상과 속도 증가
StyleGAN2, StyleGAN3, DDPM에 대한 광범위한 실험 결과, SVS는 추가적인 학습 비용 없이 다양한 모델 유형에서 압축 성능을 향상시키는 것으로 나타났습니다. 이는 압축된 모델을 더욱 우수한 해결책으로 이끌 뿐만 아니라 미세조정 속도도 크게 향상시킨다는 것을 의미합니다. 연구팀은 해당 코드를 GitHub (https://github.com/LAIT-CVLab/Singular-Value-Scaling)에 공개하여, 다른 연구자들과의 협력 및 기술 발전을 도모하고 있습니다.
결론: AI 모델 경량화의 새로운 지평
SVS는 생성 모델 압축 분야에 새로운 이정표를 세웠습니다. GAN과 Diffusion Model 모두에 적용 가능한 범용성과 성능 향상, 속도 증가라는 놀라운 효과는 AI 모델 경량화의 새로운 지평을 열었습니다. 앞으로 SVS를 기반으로 한 더욱 다양한 연구가 진행될 것으로 예상되며, 더욱 효율적이고 강력한 AI 시스템 구축에 기여할 것으로 기대됩니다.
Reference
[arxiv] Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement
Published: (Updated: )
Author: Hyeonjin Kim, Jaejun Yoo
http://arxiv.org/abs/2412.17387v2