멀티모달 AI의 숨겨진 취약점 공격: SI-Attack의 등장


본 기사는 다중 모달 대규모 언어 모델(MLLM)의 안전 메커니즘 취약성을 악용하는 새로운 공격 기법인 SI-Attack에 대한 연구 결과를 소개합니다. 기존 Jailbreak 공격보다 효율적이며 상용 MLLM에 대한 공격 성공률을 높인 SI-Attack은 AI 안전성에 대한 심각한 우려를 제기하며, AI 시스템의 안전성과 책임 있는 개발에 대한 중요한 시사점을 제공합니다.

related iamge

최근 괄목할 만한 성능으로 상용화되고 있는 다중 모달 대규모 언어 모델(MLLM)이지만, 여전히 안전 메커니즘의 취약성이 존재합니다. Zhao Shiji 등 연구진은 이러한 취약점을 악용하는 새로운 공격 기법인 SI-Attack을 제안하며 AI 안전에 대한 경종을 울렸습니다.

기존의 MLLM Jailbreak 공격은 복잡한 최적화 기법이나 정교하게 설계된 이미지 및 텍스트 프롬프트를 사용했지만, 상용화된 폐쇄형 MLLM에 대한 성공률은 낮았습니다. 하지만 SI-Attack은 다릅니다. 연구진은 MLLM의 이해 능력과 안전 능력 사이의 불일치, 즉 Shuffle Inconsistency를 발견했습니다. 재배열된 유해 지시어를 통해 MLLM은 그 의미를 충분히 이해하지만, 안전 메커니즘은 이를 쉽게 우회당하는 현상을 확인한 것입니다.

SI-Attack은 이러한 Shuffle Inconsistency를 적극 활용합니다. 유해한 텍스트-이미지 지시어를 재배열하고, 독성 판별 모델의 피드백을 기반으로 최적의 유해 입력을 선택하는 쿼리 기반 블랙박스 최적화 기법을 적용했습니다. 이는 단순한 재배열의 무작위성을 극복하고 공격 효율을 극대화하는 전략입니다.

실험 결과, SI-Attack은 세 가지 벤치마크에서 공격 성능을 향상시켰으며, 특히 GPT-4o나 Claude-3.5-Sonnet과 같은 상용 MLLM에 대한 공격 성공률을 현저히 높였습니다. 이는 MLLM의 안전성에 대한 심각한 우려를 제기하며, 향후 더욱 강력하고 안전한 MLLM 개발의 필요성을 강조합니다.

결론적으로, SI-Attack은 MLLM의 숨겨진 취약점을 공략하는 새로운 패러다임을 제시합니다. 이 연구는 단순한 기술적 발전을 넘어, AI 시스템의 안전성과 책임 있는 개발에 대한 중요한 시사점을 제공합니다. AI 기술의 발전과 함께 안전 메커니즘 강화에 대한 지속적인 노력이 필수적임을 보여주는 중요한 사례입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Jailbreaking Multimodal Large Language Models via Shuffle Inconsistency

Published:  (Updated: )

Author: Shiji Zhao, Ranjie Duan, Fengxiang Wang, Chi Chen, Caixin Kang, Jialing Tao, YueFeng Chen, Hui Xue, Xingxing Wei

http://arxiv.org/abs/2501.04931v1