멈추지 않는 생성: 연속 학습 환경에서 확산 모델의 진화

류징런, 지중, 천샹위 연구팀이 연속 학습 환경에서 확산 모델의 파국적 망각 문제를 해결하기 위해 '연속 일관성 확산(CCD)' 프레임워크를 개발했습니다. 세 가지 일관성 기준(IKC, UKC, LKC)을 통합한 CCD는 기존 성능을 뛰어넘는 결과를 보이며, 지속 학습 AI의 발전에 크게 기여할 것으로 예상됩니다.

최근 이미지 생성 분야에서 괄목할 만한 성과를 보이고 있는 확산 모델. 하지만 정지된 데이터 생성에는 능숙하지만, 끊임없이 새로운 데이터가 유입되는 연속 학습(Continual Learning, CL) 환경에서는 한계에 부딪힙니다. 바로 파국적 망각(Catastrophic Forgetting, CF) 입니다. 새롭게 학습한 내용이 기존 지식을 덮어써 버리는 현상이죠. 마치 어제 배운 것을 오늘 잊어버리는 것과 같습니다.

류징런, 지중, 천샹위 연구팀은 이러한 문제를 해결하기 위해 연속 확산 생성(Continual Diffusion Generation, CDG) 이라는 새로운 패러다임을 제시했습니다. 단순히 기존의 분류 작업 방식을 확산 모델에 적용하는 것이 아니라, 확산 모델 자체의 작동 원리를 깊이 있게 분석하여 CL에 최적화한 접근 방식입니다.

연구팀은 CDG를 위한 최초의 이론적 틀을 마련하고, 작업 간의 상호 작용을 분석하여 생성 지식의 유지 및 안정성을 결정짓는 세 가지 핵심 일관성 기준을 제시했습니다.

• 작업 간 지식 일관성(Inter-task Knowledge Consistency, IKC): 서로 다른 작업 간의 지식이 얼마나 잘 연결되는가?
• 무조건적 지식 일관성(Unconditional Knowledge Consistency, UKC): 작업과 상관없이 기본적인 생성 능력은 유지되는가?
• 레이블 지식 일관성(Label Knowledge Consistency, LKC): 레이블 정보를 얼마나 잘 유지하고 활용하는가?

이러한 통찰력을 바탕으로 연구팀은 연속 일관성 확산(Continual Consistency Diffusion, CCD) 이라는 프레임워크를 개발했습니다. CCD는 계층적 손실 함수($\mathcal{L}{IKC}$, $\mathcal{L}{UKC}$, $\mathcal{L}_{LKC}$)를 통해 세 가지 일관성 기준을 학습 과정에 통합하여 새로운 생성 능력을 효과적으로 학습하면서 기존 지식을 보존합니다. 마치 레고 블록을 쌓듯이, 새로운 블록을 추가하면서 기존 구조물을 유지하는 것과 같습니다.

네 개의 벤치마크 데이터셋을 이용한 실험 결과, CCD는 기존의 방법보다 훨씬 뛰어난 성능을 보였습니다. 특히 작업 간 지식의 중복이 많은 경우, 평균 충실도(Mean Fidelity, MF)와 증분 평균 충실도(Incremental Mean Fidelity, IMF)가 크게 향상되었습니다. 이는 CCD가 연속 학습 환경에서 확산 모델의 한계를 극복하고, 더욱 강력하고 유연한 생성 모델을 구축할 수 있음을 보여줍니다.

이 연구는 단순한 기술적 진보를 넘어, 인공지능의 지속적인 학습 능력에 대한 새로운 패러다임을 제시하며, 앞으로 더욱 발전된 AI 시스템 개발에 중요한 이정표를 제시할 것으로 기대됩니다. 끊임없이 변화하는 세상에서, 끊임없이 학습하고 성장하는 AI의 시대가 눈앞에 다가왔습니다. 🎉