놀라운 발견! GPT-4도 속일 수 있다면? AI 안전성의 허점과 새로운 공격 방식
본 논문은 안전하게 미세 조정된 대규모 언어 모델(LLM)이 의미적으로 관련된 자연스러운 프롬프트에 취약하다는 것을 보여줍니다. 연구진은 ReG-QA라는 새로운 방법론을 제시하여 이러한 취약점을 평가하고, 기존의 적대적 공격 방식보다 더 효과적이고 안정적인 공격 방법을 제시합니다. 이는 AI 안전성 연구에 새로운 관점을 제시하고, AI 시스템의 안전하고 윤리적인 개발과 활용을 위해 지속적인 노력이 필요함을 강조합니다.

최근 인공지능(AI) 언어 모델(LLM)의 안전성에 대한 우려가 커지고 있습니다. 안전하게 미세 조정된 모델조차도 교묘하게 만들어진 적대적 공격이나 '탈옥(jailbreak)' 시도에 취약하다는 사실이 밝혀졌기 때문입니다. Sravanti Addepalli 등 연구진은 "LLM의 안전성 훈련이 의미적으로 관련된 자연스러운 프롬프트에도 일반화되는가?" 라는 논문을 통해 이 문제에 대한 놀라운 발견을 발표했습니다.
자연스러운 질문으로도 AI를 속일 수 있다?
연구진은 GPT-4와 같은 최첨단 LLM이 악의적인 의도 없이 만들어진 자연스러운 질문에도 취약하다는 사실을 밝혀냈습니다. 이는 기존의 복잡한 적대적 공격과 달리, 일반적인 질문을 통해서도 LLM을 '탈옥'시킬 수 있다는 것을 의미합니다. 더욱 놀라운 점은, 유해한 답변을 유도하는 질문이 있다면, 그와 의미적으로 연관된 여러 자연스러운 질문들을 체계적으로 생성하여 안전하게 훈련된 LLM을 공격할 수 있다는 것입니다.
ReG-QA: 안전성 평가의 새로운 지평
이러한 문제를 해결하기 위해 연구진은 응답 유도 질문 증강(ReG-QA) 이라는 새로운 방법론을 제안했습니다. ReG-QA는 먼저 안전하게 훈련되지 않은 LLM을 사용하여 특정 질문에 대한 유해한 답변을 생성하고, 이어서 다른 LLM을 이용하여 이러한 답변을 유도할 가능성이 높은 질문을 생성하는 방식입니다. 흥미롭게도, GPT-4o와 같은 안전하게 미세 조정된 LLM조차도 이 과정에서 유해한 내용을 부인하지 않고 자연스러운 '탈옥' 질문을 생성하는 데 취약한 것으로 나타났습니다.
기존 공격 방식보다 효과적이고 안정적
ReG-QA를 사용한 공격 성공률은 기존의 선도적인 적대적 공격 방법들과 비슷하거나 더 나은 수준이며, Smooth-LLM이나 동의어 대체와 같은 기존 방어 기법에도 훨씬 더 안정적으로 작동합니다.
결론: AI 안전성에 대한 지속적인 연구의 필요성
이 연구는 LLM의 안전성에 대한 우리의 이해를 혁신적으로 변화시키는 결과를 보여줍니다. 단순히 적대적 공격에만 집중하는 것이 아니라, 의미적으로 관련된 자연스러운 질문에 대한 안전성을 평가하는 것이 얼마나 중요한지를 강조합니다. 앞으로 AI 안전성 분야는 ReG-QA와 같은 새로운 평가 방법론과 방어 기술 개발에 더욱 집중해야 할 것입니다. AI 시스템의 안전하고 윤리적인 활용을 위해 지속적인 연구와 노력이 필수적입니다.
Reference
[arxiv] Does Safety Training of LLMs Generalize to Semantically Related Natural Prompts?
Published: (Updated: )
Author: Sravanti Addepalli, Yerram Varun, Arun Suggala, Karthikeyan Shanmugam, Prateek Jain
http://arxiv.org/abs/2412.03235v1