90% 이상 성공률! GPT-4.5/4o/o1 등 최첨단 블랙박스 모델 공격의 놀라운 돌파구

Li Zhaoyi 등 연구진의 논문은 상용 LLM에 대한 효과적인 공격 방법을 제시하며, GPT-4.5, GPT-4o, o1 등 최첨단 모델에서 90% 이상의 성공률을 달성했습니다. 의미론적 세부 정보에 집중한 국소적 변형 기법을 통해 기존 방법의 한계를 극복하고, AI 보안 연구에 새로운 이정표를 세웠습니다.

Li Zhaoyi 등 연구진이 발표한 논문 "A Frustratingly Simple Yet Highly Effective Attack Baseline: Over 90% Success Rate Against the Strong Black-box Models of GPT-4.5/4o/o1"은 인공지능(AI) 보안 분야에 큰 파장을 일으키고 있습니다. 이 연구는 기존의 전이 기반 표적 공격이 상용 거대 언어 모델(LLM)인 GPT-4.5, GPT-4o, o1 등에 효과적이지 못했던 문제점을 해결하는 획기적인 방법을 제시했습니다.

기존 방법의 한계: 의미론적 정보의 부재

연구진은 기존의 공격 기법이 실패하는 이유를 분석했습니다. 분석 결과, 기존 방법으로 생성된 적대적 예시(adversarial examples)는 의미론적 세부 정보가 부족하여 상용 LLM이 이를 무시하거나 잘못 해석하는 것으로 나타났습니다. 이는 마치 LLM이 공격을 인식하지 못하거나, 공격의 의도를 전혀 다르게 이해하는 것과 같았습니다.

혁신적인 해결책: 국소적 의미론적 변형

이 문제를 해결하기 위해 연구진은 매우 단순하지만 놀라울 만큼 효과적인 방법을 제시했습니다. 핵심 아이디어는 의미론적으로 풍부한 영역에 집중하여 국소적으로 변형을 가하는 것입니다. 구체적으로, 각 최적화 단계에서 적대적 이미지를 임의로 자르고 크기를 조정한 후, 표적 이미지와 임베딩 공간에서 정렬하는 과정을 거칩니다. 이를 통해 의미론적 세부 정보를 명확하게 인코딩하여 LLM이 공격을 정확하게 인식하도록 유도합니다.

놀라운 성과: 90% 이상의 공격 성공률

실험 결과는 이 방법의 효과를 명확하게 보여줍니다. GPT-4.5, GPT-4o, o1을 포함하여 Gemini-2.0-flash, Claude-3.5-sonnet, Claude-3.7-sonnet, 심지어 추론 모델인 o1, Claude-3.7-thinking, Gemini-2.0-flash-thinking에 이르기까지 다양한 상용 LLM에 대해 90% 이상의 성공률을 달성했습니다. 이는 기존 최고 성능의 공격 방법을 훨씬 능가하는 결과입니다. 연구진은 최적화된 적대적 예시와 관련 코드를 GitHub(https://github.com/VILA-Lab/M-Attack)에 공개하여 연구의 투명성과 재현성을 확보했습니다.

결론 및 시사점

이 연구는 상용 LLM의 보안 취약성을 다시 한번 강조하며, 더욱 강력하고 안전한 AI 시스템 개발의 필요성을 시사합니다. 단순하지만 효과적인 공격 방법의 등장은 AI 보안 연구에 새로운 방향을 제시하며, 앞으로 더욱 정교하고 강력한 공격 기법이 등장할 가능성을 보여줍니다. 이러한 연구 결과를 바탕으로 AI 모델의 안전성과 신뢰성을 높이기 위한 지속적인 노력이 필요합니다.