CLIPure: CLIP 기반 잠재 공간 정제를 통한 강력한 제로샷 분류

중국과학원 TML 연구 그룹이 개발한 CLIPure는 CLIP 기반 잠재 공간 정제를 통해 적대적 공격에 강한 제로샷 이미지 분류 성능을 획기적으로 향상시킨 기술입니다. CIFAR-10 및 ImageNet 등 다양한 데이터셋에서 기존 최고 성능을 훨씬 웃도는 결과를 보였으며, 생성 모델에 의존하지 않는 CLIPure-Cos 변형 또한 주목할 만합니다.

CLIPure: 적대적 공격에 강한 제로샷 이미지 분류의 혁신

중국과학원(CAS) 소속 TML 연구 그룹의 연구원들은 적대적 공격에 매우 강력한 제로샷 이미지 분류기를 개발하는 놀라운 성과를 달성했습니다. 그들의 연구 결과는 CLIPure라는 이름의 새로운 방법에 담겨 있습니다. CLIPure는 기존의 방식과는 달리, 잠재 공간(latent space)에서의 정제(purification) 라는 새로운 개념을 도입하여 적대적 공격에 대한 방어력을 획기적으로 높였습니다.

CLIPure는 비전-언어 사전 훈련 모델인 CLIP을 기반으로 합니다. 이는 이미지를 텍스트 프롬프트와 매칭하여 제로샷 분류를 수행하는 방식입니다. 하지만, 적대적 공격 앞에서는 CLIP의 성능이 저하될 수 있습니다. CLIPure는 이러한 취약점을 극복하기 위해 양방향 확률적 미분 방정식(SDEs) 을 이용하여 적대적 샘플의 잡음을 제거하고, 정상 샘플과의 차이를 줄이는 '정제' 과정을 거칩니다. 이는 마치 이미지의 잡음을 제거하여 본질적인 특징만 남기는 것과 같습니다.

연구팀은 CLIPure를 두 가지 변형으로 구현했습니다. CLIPure-Diff는 DaLLE-2의 DiffusionPrior 모듈을 이용하여 이미지의 잠재 벡터 확률을 모델링하고, CLIPure-Cos는 이미지와 텍스트 프롬프트 간의 코사인 유사도를 이용하여 모델링합니다. 특히 CLIPure-Cos는 생성 모델에 의존하지 않는 최초의 정제 방법으로, 효율성을 크게 향상시켰습니다.

실험 결과는 놀랍습니다. CIFAR-10 데이터셋에서 71.7%에서 91.1%로, ImageNet에서는 59.6%에서 72.6%로 정확도가 크게 향상되었으며, 기존 연구에서 사용된 13개 데이터셋에 대한 평균 강건성은 108%나 개선되었습니다. 이러한 성과는 CLIPure가 적대적 공격에 대한 강력한 방어력을 갖추고 있음을 명확히 보여줍니다. GitHub (https://github.com/TMLResearchGroup-CAS/CLIPure)에서 코드를 확인할 수 있습니다.

결론적으로, CLIPure는 적대적 공격에 강한 제로샷 이미지 분류 분야에 획기적인 발전을 가져온 연구 성과입니다. 잠재 공간에서의 정제라는 독창적인 접근 방식과 뛰어난 실험 결과는 인공지능 분야의 발전에 크게 기여할 것으로 기대됩니다. 앞으로 CLIPure가 더욱 발전하여 다양한 응용 분야에 적용될 수 있기를 기대합니다.