훈련 없이도 안전한 확산 모델 사용 가능하게 하는 획기적인 기술 등장!

본 논문은 기존의 확산 모델(DM)의 안전성 문제를 해결하기 위해 재훈련 없이 샘플링 경로를 직접 수정하는 획기적인 방법을 제시합니다. '부정 집합'을 활용하여 데이터 분포의 특정 영역을 피함으로써 고품질의 안전한 샘플을 생성하는 '안전한 복원기'를 개발하였으며, 이는 DM의 안전하고 윤리적인 활용에 크게 기여할 것으로 기대됩니다.

강력한 확산 모델(Diffusion Models, DMs)의 안전성에 대한 우려가 커지고 있습니다. DM은 부적절하거나 안전하지 않은 콘텐츠(NSFW)를 생성하거나, 저작권이 있는 자료 또는 개인 정보를 생성하는 데 악용될 수 있기 때문입니다. 기존의 해결책은 텍스트 기반의 부정적 프롬프트에 의존하거나, 특정 특징이나 샘플을 제거하기 위해 DM을 광범위하게 재훈련하는 데 초점을 맞추었습니다.

하지만 김민규, 김동준, 아만 유수프, 스테파노 에르몬, 박미정 연구팀은 훨씬 혁신적인 방법을 제시했습니다. 바로 재훈련 없이 샘플링 경로를 직접 수정하는 것입니다. 연구팀은 '부정 집합'(unsafe images, copyrighted data, 또는 제외해야 할 데이터 포인트 등)을 활용하여 데이터 분포의 특정 영역을 피하도록 DM의 샘플링 과정을 수정했습니다. 이는 DM을 재훈련하거나 미세 조정할 필요가 없다는 것을 의미합니다.

연구팀은 안전한 예상 복원 샘플과 안전하지 않은 샘플 간의 관계를 공식적으로 도출하여, 최종 샘플이 제거해야 할 영역에서 벗어나도록 하는 안전한 복원기(safe denoiser) 를 개발했습니다. 이 알고리즘은 텍스트 조건, 클래스 조건, 무조건 이미지 생성 시나리오에서 모두 고품질의 샘플을 생성하면서 부정 영역을 피하는 데 성공했습니다. 이는 재훈련이 필요 없는 안전한 복원기가 DM을 더 안전하게 사용하는 데 큰 잠재력을 가지고 있음을 시사합니다.

이 연구는 단순히 기술적 발전을 넘어, 강력한 AI 기술의 윤리적 사용에 대한 중요한 함의를 가지고 있습니다. 향후 DM의 안전하고 책임감 있는 활용에 크게 기여할 것으로 기대됩니다. 특히, 개인 정보 보호 및 저작권 보호에 대한 우려를 해소하는 데 중요한 역할을 할 것으로 예상됩니다. 앞으로 이 기술이 어떻게 발전하고 실제 서비스에 적용될지 주목할 필요가 있습니다.