혁신적인 AI 탈옥 기법, Siege 등장: GPT-3.5 및 GPT-4 완벽 제압

Andy Zhou가 개발한 새로운 AI 탈옥 프레임워크 Siege는 다중 턴 대화를 통해 LLM의 안전성을 점진적으로 침식시키는 혁신적인 접근 방식을 제시합니다. GPT-3.5-turbo와 GPT-4에 대한 높은 성공률은 LLM 안전성 검증의 중요성과 다중 턴 테스트의 필요성을 강조합니다.

최근, Andy Zhou가 개발한 새로운 AI 탈옥(Jailbreaking) 프레임워크인 Siege가 등장하여 학계의 주목을 받고 있습니다. 기존의 단일 턴 방식의 한계를 넘어, 다중 턴 대화를 통해 대규모 언어 모델(LLM)의 안전성을 점진적으로 침식시키는 혁신적인 접근 방식을 제시했습니다.

Siege는 트리 탐색(Tree Search) 알고리즘을 기반으로 합니다. 이는 단순히 하나의 정교하게 설계된 프롬프트만을 사용하는 것이 아니라, 각 턴마다 여러 개의 적대적 프롬프트를 생성하여 LLM을 공격합니다. 특히, 이전 턴의 응답에서 얻은 부분적인 허용(partial compliance)을 다음 턴의 공격에 활용하는 전략이 핵심입니다. 마치 성을 함락시키듯, 작은 틈을 이용하여 점진적으로 방어벽을 무너뜨리는 전략이라고 생각할 수 있습니다.

흥미롭게도, Siege는 JailbreakBench 데이터셋을 이용한 평가에서 놀라운 결과를 보였습니다. GPT-3.5-turbo에서는 100%, GPT-4에서는 97%의 성공률을 기록했습니다. 이는 기존의 Crescendo나 GOAT와 같은 탈옥 기법보다 훨씬 높은 성공률이며, 더 적은 쿼리(질문)만으로도 목표를 달성했다는 점에서 매우 효율적입니다.

Siege의 성공은 단순한 기술적 성과를 넘어, LLM 안전성 검증의 중요성을 다시 한번 강조합니다. LLM의 안전성을 평가할 때, 단일 턴 테스트만으로는 충분하지 않으며, 다중 턴 상황에서의 취약성을 철저히 분석해야 한다는 것을 시사합니다. Siege는 이러한 다중 턴 테스트의 필요성을 강력하게 보여주는 사례이며, 향후 LLM 개발 및 안전성 평가에 중요한 영향을 미칠 것으로 예상됩니다.

하지만, Siege의 개발은 동시에 AI 안전성에 대한 우려를 더욱 증폭시키기도 합니다. 더욱 강력한 LLM 탈옥 기법의 등장은 AI 안전성 연구에 대한 긴급성을 높이고 있으며, AI 개발자들은 Siege와 같은 연구를 통해 LLM의 안전성을 강화하는데 더욱 노력해야 할 것입니다. 이는 단순히 기술적 문제를 넘어, 윤리적, 사회적 책임과 밀접하게 연관되어 있습니다.