획기적인 AI 안전성 평가 지표 등장: 잔류 점수(Retention Score)


본 논문은 시각-언어 모델(VLMs)의 안전성을 위협하는 '탈옥 공격'에 대한 저항력을 정량적으로 평가하는 새로운 지표인 '잔류 점수(Retention Score)'를 제안하고, 그 유용성과 실제 적용 결과를 제시합니다. 연구 결과, 시각적 요소가 포함된 VLM이 탈옥 공격에 더 취약하며, Google Gemini의 보안 설정이 견고성에 큰 영향을 미침을 확인했습니다.

related iamge

시각-언어 모델의 탈옥 공격, 이제 정량적으로 평가한다!

최근 컴퓨터 비전과 대규모 언어 모델(LLM)을 통합한 시각-언어 모델(VLMs)이 급부상하며 멀티모달 머신러닝의 새로운 지평을 열었습니다. 하지만 이러한 발전은 동시에 VLMs를 교묘한 적대적 공격에 취약하게 만들었고, 모델의 안전성에 대한 우려를 증폭시켰습니다.

Zaitang Li, Pin-Yu Chen, Tsung-Yi Ho 연구팀은 이러한 문제에 대한 해결책으로, **'잔류 점수(Retention Score)'**라는 혁신적인 지표를 제안했습니다. 잔류 점수는 VLM이 '탈옥 공격'이라는 악의적인 입력 변화에도 불구하고 안전성을 유지하는 능력을 정량적으로 측정하는 멀티모달 평가 지표입니다. 기존의 적대적 공격 방식과 달리, 잔류 점수는 공격 방식에 관계없이 VLM의 견고성을 평가할 수 있습니다.

연구팀은 조건부 확산 모델을 이용해 합성 이미지-텍스트 쌍을 생성하고, 이를 VLM과 독성 판단 분류기를 사용하여 독성 점수를 예측했습니다. 두 점수 간의 차이를 계산하여 VLM의 견고성을 수치화하는 방식입니다. 잔류 점수는 시각적 요소(Retention-I)와 텍스트적 요소(Retention-T)를 모두 고려하여 더욱 정확한 평가를 가능하게 합니다.

연구의 주요 성과는 다음과 같습니다.

  • 잔류 점수의 신뢰성 입증: 연구팀은 잔류 점수가 신뢰할 수 있는 견고성 지표임을 증명했습니다.
  • 시각 요소의 취약성 확인: 시각적 요소를 포함한 VLM이 일반 VLM보다 탈옥 공격에 더 취약함을 밝혔습니다.
  • Google Gemini의 보안 설정 영향 분석: Google Gemini의 보안 설정이 잔류 점수와 견고성에 큰 영향을 미침을 확인했습니다. 특히, GPT4V의 견고성은 Gemini의 중간 설정과 유사한 수준으로 나타났습니다.
  • 효율적인 견고성 평가: 기존의 적대적 공격 방식보다 시간 효율적이며, MiniGPT-4, InstructBLIP, LLaVA 등 다양한 VLM에 대해 일관된 견고성 순위를 제공합니다.

이 연구는 VLMs의 안전성을 평가하는 새로운 기준을 제시하고, 더 안전하고 신뢰할 수 있는 AI 시스템 개발에 기여할 것으로 기대됩니다. 잔류 점수는 앞으로 VLM 개발 및 배포 과정에서 필수적인 평가 지표로 자리매김할 가능성이 높습니다. 🎉


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Retention Score: Quantifying Jailbreak Risks for Vision Language Models

Published:  (Updated: )

Author: Zaitang Li, Pin-Yu Chen, Tsung-Yi Ho

http://arxiv.org/abs/2412.17544v1