Siren: 실제 인간의 탈옥 행위를 모방하는 학습 기반 다회차 공격 프레임워크

Zhao Yi와 Zhang Youzhi가 개발한 Siren은 실제 인간의 행동을 모방하는 다회차 LLM 공격 프레임워크로, 기존 방식보다 월등한 공격 성공률을 보이며 LLM 보안의 중요성을 강조합니다. 하지만 윤리적 사용과 책임 있는 연구 개발이 필수적입니다.

인공지능(AI)의 탈옥: Siren의 등장

최근 급속도로 발전하는 대규모 언어 모델(LLM)은 실생활에 광범위하게 사용되고 있지만, 그 안전성과 신뢰성에 대한 우려 또한 커지고 있습니다. 단순한 '탈옥' 시도를 넘어, 실제 공격자들이 사용하는 다회차에 걸친 교묘한 전략에 대한 연구가 절실히 필요한 시점입니다.

이러한 문제의식 속에서 등장한 것이 바로 Zhao Yi와 Zhang Youzhi가 개발한 Siren입니다. Siren은 실제 인간의 탈옥 행위를 모방하는 학습 기반 다회차 공격 프레임워크로, 기존의 정적인 패턴이나 미리 정의된 논리적 체인에 의존하는 방식을 넘어, 역동적이고 다층적인 공격 전략을 구현합니다.

Siren의 세 가지 단계:

Siren은 크게 세 단계로 구성됩니다.

1. Turn-Level LLM 피드백(Turn-MF)을 활용한 훈련 세트 구축: 각 회차별 LLM의 반응을 분석하여 더욱 효과적인 공격 전략을 학습합니다.
2. 지도 학습 미세 조정(SFT) 및 직접 선호도 최적화(DPO)를 통한 공격자 사후 훈련: 학습된 데이터를 바탕으로 공격 모델의 성능을 향상시킵니다.
3. 공격 모델과 대상 LLM 간의 상호 작용: 실제 공격 상황을 시뮬레이션하여 공격의 효과를 검증합니다.

놀라운 성능:

실험 결과, Siren은 공격자로 LLaMA-3-8B를, 대상 모델로 Gemini-1.5-Pro를 사용했을 때 **90%**의 공격 성공률을 달성했습니다. Mistral-7B를 공격자로, GPT-4o를 대상 모델로 사용했을 때에도 **70%**라는 높은 성공률을 기록했습니다. 이는 기존의 단일 회차 공격 방식을 압도적으로 뛰어넘는 결과입니다. 특히, 7B 규모의 모델을 사용하는 Siren은 GPT-4o를 공격자로 사용하는 다회차 기준 모델과 비슷한 성능을 보였지만, 더 적은 회차와 의미적으로 더 일관성 있는 전략을 사용하는 것으로 나타났습니다.

향후 전망:

Siren은 실제적인 시나리오에서 고급 다회차 탈옥 공격에 대한 더욱 강력한 방어 체계 개발을 위한 중요한 이정표를 제시합니다. 하지만, Siren의 공개는 LLM의 보안 취약성을 보여주는 동시에, 이를 악용할 가능성도 내포하고 있기에 윤리적인 사용과 책임 있는 연구 개발이 중요합니다. 관련 코드는 https://github.com/YiyiyiZhao/siren 에서 확인할 수 있습니다. (주의: 본 논문에는 잠재적으로 유해한 텍스트가 포함되어 있습니다.)