섬세한 차이를 포착하는 AI의 눈: Prompt-CAM의 등장


본 기사는 Arpita Chowdhury 등 13명의 연구진이 개발한 새로운 AI 모델 Prompt-CAM을 소개합니다. Prompt-CAM은 사전 훈련된 ViT를 활용하여 이미지의 미세한 차이를 정확하게 식별하고 그 이유를 설명할 수 있는 획기적인 기술이며, 간편한 구현 방식과 우수한 해석 능력으로 주목받고 있습니다.

related iamge

새로운 시대의 AI는 단순히 이미지를 분류하는 것을 넘어, 그 이유까지 설명할 수 있어야 합니다. 새, 물고기, 곤충, 심지어 음식이나 자동차까지, 미세한 차이를 구분하는 '미세 입자 분석(fine-grained analysis)' 분야에서 이러한 요구는 더욱 강력하게 제기됩니다. 기존의 방법들은 전체 객체를 흐릿하게 표시하는 데 그쳤지만, 이제 획기적인 기술이 등장했습니다. Prompt-CAM입니다.

Arpita Chowdhury 등 13명의 연구진이 개발한 Prompt-CAM은 사전 훈련된 비전 트랜스포머(ViT)를 기반으로 설계되었습니다. DINO와 같은 사전 훈련된 ViT는 이미 우수한 국지적 특징 추출 능력을 보여주었지만, Grad-CAM과 같은 기존의 설명 가능성 기법은 종종 전체 객체만을 흐릿하게 강조하는 데 그쳤습니다. 하지만 Prompt-CAM은 다릅니다.

Prompt-CAM은 클래스 특정 프롬프트(class-specific prompts) 를 사전 훈련된 ViT에 학습시켜, 각 클래스에 대한 특징을 정확하게 파악합니다. 이를 통해, 다른 클래스의 이미지에는 없는 고유한 이미지 패치, 즉 특징(traits) 을 찾아낼 수 있습니다. 다시 말해, 새의 종류를 구분하는 데 중요한 부리의 모양이나 색깔, 물고기의 지느러미 형태 등을 정확하게 식별하는 것입니다. 이러한 특징과 그 위치는 해당 클래스의 다중 헤드 어텐션 맵(multi-head attention maps)에 명확하게 나타납니다.

구현 방식 또한 놀랍도록 간단합니다. Prompt-CAM은 Visual Prompt Tuning (VPT) 의 예측 헤드를 수정하는 것만으로 구현 가능합니다. 이는 다른 해석 가능한 방법들과 비교하여 훈련과 적용이 훨씬 용이하다는 것을 의미하며, 최근 발표된 INTR(INterpretable TRansformer)보다도 간단합니다. INTR은 인코더-디코더 구조로 인해 사전 훈련된 ViT를 활용할 수 없다는 제약이 있었지만, Prompt-CAM은 이러한 제약에서 자유롭습니다.

연구진은 조류, 어류, 곤충, 균류, 꽃, 음식, 자동차 등 다양한 분야의 12개 데이터셋을 사용하여 광범위한 실험을 진행했습니다. 그 결과, Prompt-CAM은 다른 방법들에 비해 훨씬 우수한 해석 능력을 보이는 것을 확인했습니다. 이 연구는 AI의 해석 가능성을 한 단계 더 높이는 획기적인 성과로, 앞으로 다양한 분야에서 활용될 것으로 기대됩니다. 단순히 결과만 제시하는 것이 아니라, 그 이유까지 명확하게 설명하는 AI 시대가 더욱 가까워지고 있습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Prompt-CAM: A Simpler Interpretable Transformer for Fine-Grained Analysis

Published:  (Updated: )

Author: Arpita Chowdhury, Dipanjyoti Paul, Zheda Mai, Jianyang Gu, Ziheng Zhang, Kazi Sajeed Mehrab, Elizabeth G. Campolongo, Daniel Rubenstein, Charles V. Stewart, Anuj Karpatne, Tanya Berger-Wolf, Yu Su, Wei-Lun Chao

http://arxiv.org/abs/2501.09333v1