늑대의 옷을 입은 양: 텍스트 요약으로 악의적인 텍스트-이미지 프롬프트 퇴치


본 연구는 텍스트-이미지 모델의 악의적인 프롬프트 공격에 대한 해결책으로 텍스트 요약 기반의 2단계 검증 시스템을 제시합니다. 새롭게 구축한 ATTIP 데이터셋을 이용한 실험 결과, 제안된 시스템은 기존 시스템 대비 F1 점수를 31% 향상시켰으며, 최대 98%의 F1 점수를 달성했습니다. 이 연구는 AI 모델의 안전성과 윤리적인 사용에 대한 중요한 시사점을 제공합니다.

related iamge

최근 텍스트-이미지 모델의 놀라운 발전에도 불구하고, 그 안전성에 대한 우려가 커지고 있습니다. 특히, 악의적인 사용자가 부적절한 콘텐츠를 은폐하기 위해 교묘한 프롬프트를 사용하는 'Divide-and-Conquer Attack'(DACA)이 큰 문제로 떠오르고 있습니다. 마치 늑대가 양의 옷을 입은 것처럼, 해롭지 않은 이야기 속에 부적절한 내용을 숨기는 것입니다.

미시간 대학교의 Portia Cooper, Harshita Narnoli, 그리고 Mihai Surdeanu 연구팀은 이러한 문제에 대한 해결책을 제시했습니다. 그들의 연구 논문 "Finding a Wolf in Sheep's Clothing: Combating Adversarial Text-To-Image Prompts with Text Summarization"은 텍스트 요약을 이용한 2단계 검증 시스템을 제안합니다. 이 시스템은 먼저 텍스트 요약을 통해 프롬프트의 핵심 내용을 추출하고, 이후 이 요약된 내용을 바탕으로 악의적인 프롬프트를 탐지합니다.

연구팀은 DACA 공격으로 생성된 프롬프트와 일반적인 프롬프트를 포함한 'Adversarial Text-to-Image Prompt'(ATTIP) 데이터셋 (총 940개)을 새롭게 구축했습니다. 이를 통해 소규모 인코더 모델과 대규모 언어 모델을 이용하여 두 가지 버전의 요약된 프롬프트를 생성했습니다. 그리고 인코더 분류기와 GPT-4o 분류기를 사용하여 요약된 프롬프트와 요약되지 않은 프롬프트에 대한 콘텐츠 검증을 수행했습니다.

결과는 놀라웠습니다. 요약된 프롬프트를 사용한 분류기는 요약되지 않은 프롬프트를 사용한 분류기에 비해 F1 점수가 31%나 향상되었습니다! 특히, 인코더 분류기는 요약된 ATTIP 데이터셋에서 무려 98%라는 놀라운 F1 점수를 기록했습니다. 이것은 텍스트 요약을 통한 전처리가 악의적인 프롬프트 탐지 모델의 성능을 크게 향상시킬 수 있음을 보여줍니다.

이 연구는 단순히 기술적인 발전을 넘어, AI 모델의 안전성과 윤리적인 사용에 대한 중요한 시사점을 제공합니다. AI 기술의 발전과 함께, 이러한 악의적인 공격에 대한 대비책을 마련하는 것은 매우 중요하며, 이 연구는 그 방향을 제시하는 중요한 이정표가 될 것입니다. 앞으로 더욱 발전된 기술과 함께, 우리는 늑대의 옷을 입은 양을 더욱 효과적으로 가려낼 수 있을 것입니다. 😊


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Finding a Wolf in Sheep's Clothing: Combating Adversarial Text-To-Image Prompts with Text Summarization

Published:  (Updated: )

Author: Portia Cooper, Harshita Narnoli, Mihai Surdeanu

http://arxiv.org/abs/2412.12212v1