첨단 AI, 간단한 변화에도 무너진다? 'Best-of-N Jailbreaking'의 충격
BoN Jailbreaking이라는 새로운 AI 공격 기법이 소개되었으며, 간단한 알고리즘으로 최첨단 AI 시스템을 효과적으로 공격할 수 있다는 사실이 밝혀졌습니다. 다양한 모달리티에 적용 가능하며, 기존 방어 기법을 우회할 수 있다는 점에서 AI 안전성에 대한 심각한 우려를 제기합니다.

최근 AI 보안 분야에 충격적인 연구 결과가 발표되었습니다. John Hughes 등 10명의 연구진이 발표한 "Best-of-N (BoN) Jailbreaking" 논문은, 놀랍도록 간단한 알고리즘으로 최첨단 AI 시스템을 공격하는 방법을 제시하며 AI 안전성에 대한 심각한 의문을 제기합니다.
BoN Jailbreaking은 프롬프트에 무작위 셔플이나 대문자 변환과 같은 다양한 변형을 반복적으로 적용하여 유해한 응답을 유도하는 방식입니다. 마치 자물쇠를 여러 번 시도하는 것과 같지만, AI 모델의 취약점을 교묘하게 이용하여 높은 성공률을 보입니다. 실제로 GPT-4o에서는 89%, Claude 3.5 Sonnet에서는 78%의 성공률을 기록했습니다. 이는 10,000개의 변형된 프롬프트를 시도했을 때의 결과이며, 시도 횟수가 증가할수록 성공률은 더욱 높아지는 경향을 보였습니다. 더욱 놀라운 점은, BoN Jailbreaking이 최첨단 오픈소스 방어 기법조차도 효과적으로 우회한다는 것입니다.
하지만 이 공격의 놀라움은 여기서 끝나지 않습니다. BoN Jailbreaking은 텍스트뿐 아니라 이미지(VLMs)와 오디오(ALMs)를 처리하는 AI 모델에도 효과적으로 적용될 수 있습니다. 모달리티에 맞는 변형을 적용하여 GPT-4o, Gemini 1.5 Pro 등 다양한 모델을 공격할 수 있다는 것을 의미합니다. 실험 결과, 성공률(ASR)은 샘플 수(N)에 따라 거듭제곱 법칙에 가까운 비례 관계를 보였습니다. 또한, 다른 블랙박스 알고리즘과 결합하여 공격 효율을 최대 35%까지 향상시킬 수 있다는 사실도 확인되었습니다.
이 연구는 AI 모델이 입력의 사소해 보이는 변화에도 매우 민감하게 반응하며, 공격자가 이를 악용할 수 있음을 분명하게 보여줍니다. 이는 AI 시스템의 안전성에 대한 새로운 차원의 우려를 불러일으키며, 더욱 강력하고 안전한 AI 모델 개발의 필요성을 강조합니다. 향후 AI 연구는 단순한 성능 향상뿐 아니라, 이러한 취약성을 해결하고 안전한 AI 시스템을 구축하는 데에도 집중해야 할 것입니다. BoN Jailbreaking은 AI 보안 분야의 새로운 이정표를 세웠을 뿐 아니라, 우리에게 AI의 안전한 미래를 향한 숙제를 남겼습니다.
Reference
[arxiv] Best-of-N Jailbreaking
Published: (Updated: )
Author: John Hughes, Sara Price, Aengus Lynch, Rylan Schaeffer, Fazl Barez, Sanmi Koyejo, Henry Sleight, Erik Jones, Ethan Perez, Mrinank Sharma
http://arxiv.org/abs/2412.03556v1