AI TREND NOW

#PLADIS: 추론 시 희소 어텐션 활용으로 확산 모델의 한계를 뛰어넘다!

카이스트 김광영, 심병수 연구원이 개발한 PLADIS는 희소 어텐션을 활용하여 확산 모델의 추론 속도와 성능을 크게 향상시킨 혁신적인 기술입니다. 추가 학습이나 NFEs 없이도 뛰어난 성능을 보이며, 다양한 안내 기법과의 호환성을 자랑합니다.

PLADIS: 확산 모델의 새로운 지평을 열다

최근 괄목할 만한 성과를 보이고 있는 확산 모델. 하지만 고품질 조건부 샘플 생성을 위해서는 분류기 없는 안내(CFG)와 같은 안내 기법이 필요하고, 이러한 기법들은 추가적인 학습이나 신경망 함수 평가(NFEs)가 필요하다는 한계가 있었습니다. 특히, 안내 증류 모델과의 호환성 문제와 목표층을 식별해야 하는 휴리스틱 접근 방식의 어려움도 존재했습니다.

그런 한계를 극복할 혁신적인 방법이 등장했습니다! 카이스트 김광영, 심병수 연구원이 개발한 PLADIS(Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity) 가 바로 그 주인공입니다. PLADIS는 희소 어텐션을 활용하여 기존의 사전 훈련된 모델(U-Net/Transformer)의 성능을 비약적으로 향상시킵니다.

PLADIS의 핵심은 추론 단계에서 소프트맥스와 희소 소프트맥스를 활용하여 크로스 어텐션 레이어의 쿼리-키 상관관계를 외삽하는 데 있습니다. 이는 추가적인 학습이나 NFEs 없이도 가능합니다. 희소 어텐션의 노이즈 강건성을 활용하여 텍스트-이미지 확산 모델의 잠재력을 극대화하여, 기존 모델이 어려움을 겪던 영역에서도 놀라운 효과를 보입니다. 특히, 안내 증류 모델을 포함한 다양한 안내 기법과의 원활한 통합도 가능합니다.

실험 결과는 명확합니다. 텍스트 정렬 및 사용자 선호도 측면에서 눈에 띄는 향상을 보여주며, 높은 효율성과 범용성을 갖춘 해결책임을 입증했습니다. PLADIS는 단순한 성능 개선을 넘어, 확산 모델의 활용 가능성을 획기적으로 확장하는 기술로 자리매김할 것으로 기대됩니다. 앞으로 어떤 놀라운 결과를 보여줄지 기대하며 지켜봐야겠습니다. 🎉