CLIPure: 적대적 공격에 강한 제로샷 이미지 분류의 혁신

중국과학원 TML 연구 그룹은 적대적 공격에 강한 제로샷 이미지 분류를 위한 혁신적인 방법인 CLIPure를 제시했습니다. 잠재 공간 정제 기법을 활용하여 기존 최고 성능을 훨씬 뛰어넘는 결과를 달성했으며, 코드 또한 공개되어 널리 활용될 것으로 기대됩니다.

CLIPure: 적대적 공격에 강한 제로샷 이미지 분류의 혁신

최근 중국과학원(CAS) 소속 TML 연구 그룹의 연구진이 발표한 논문 “CLIPure: Purification in Latent Space via CLIP for Adversarially Robust Zero-Shot Classification”은 인공지능 분야, 특히 이미지 분류에서 획기적인 발전을 가져올 잠재력을 가지고 있습니다. 이 논문은 CLIPure 라는 새로운 방법론을 제시하여, 적대적 공격(adversarial attacks)에도 강인한 제로샷(zero-shot) 이미지 분류기를 구축하는 것을 목표로 합니다.

CLIPure는 기존의 방법들과는 다르게, 잠재 공간(latent space) 에서 이미지를 정제(purification)하는 방식을 사용합니다. 기존의 방법들은 특정 공격 유형에 대해 학습해야 하지만, CLIPure는 이러한 과정 없이 다양한 공격 유형에 대해 효과적으로 방어할 수 있다는 장점을 가지고 있습니다. 이는 양방향 확률적 미분 방정식(Stochastic Differential Equations, SDEs) 을 통해 정제 과정과 공격 과정의 확률 분포 간의 KL 발산(KL divergence)을 최소화하는 방식으로 구현되었습니다.

연구진은 CLIPure를 구현하기 위해 두 가지 변형 방식을 제시합니다. CLIPure-Diff는 DaLLE-2의 확산 우선(DiffusionPrior) 모듈을 활용하여 이미지의 잠재 벡터 확률을 모델링하고, CLIPure-Cos는 이미지와 텍스트 프롬프트 간의 코사인 유사도를 이용하여 확률을 모델링합니다. 특히 CLIPure-Cos는 생성 모델(generative model)에 의존하지 않는 최초의 정제 방법이라는 점에서 주목할 만합니다.

실험 결과는 놀랍습니다. CIFAR-10 데이터셋에서 기존 최고 성능(71.7%)을 훨씬 뛰어넘는 91.1%의 정확도를 달성했으며, ImageNet 데이터셋에서도 59.6%에서 72.6%로 성능이 크게 향상되었습니다. 또한, 기존 연구에서 사용된 13개의 데이터셋에 대한 평균 강건성(robustness) 또한 108% 개선되었습니다.

이러한 괄목할 만한 결과는 CLIPure가 적대적 공격에 대한 강인한 제로샷 이미지 분류기 개발에 있어 중요한 이정표를 세웠음을 보여줍니다. 더욱이, 연구진은 GitHub (https://github.com/TMLResearchGroup-CAS/CLIPure) 를 통해 코드를 공개하여, 다른 연구자들의 후속 연구와 실제 응용을 지원하고 있습니다. CLIPure의 등장은 인공지능의 안전성과 신뢰성을 높이는 데 크게 기여할 것으로 기대됩니다. 앞으로 CLIPure 기반의 다양한 응용 연구가 활발하게 진행될 것으로 예상됩니다.