잠재된 위험 깨우다: 거대 언어 모델의 '탈옥' 공격 성공률 100% 달성

거대 언어 모델의 취약성을 공격적으로 탐색하는 새로운 방법이 개발되어, 잠재적 위험을 보여주는 동시에 AI 안전성 향상에 기여할 가능성을 제시했습니다.

최근, 캘리포니아 대학교 버클리 캠퍼스를 중심으로 한 연구팀이 거대 언어 모델(LLM)의 예측 불가능한 행동을 유도하는 놀라운 연구 결과를 발표했습니다. Xiang Lisa Li, Neil Chowdhury 등이 주도한 이 연구는 "Eliciting Language Model Behaviors with Investigator Agents" 라는 제목으로, LLM의 취약성을 파헤치는 새로운 방법론을 제시하여 주목받고 있습니다.

핵심은 '조사자 모델'의 개발입니다. LLM이 환각이나 유해 반응과 같은 특정 행동을 보이도록 유도하는 프롬프트를 찾는 것이 이 연구의 목표였습니다. 무작위로 생성되는 방대한 프롬프트 공간에서 효율적으로 원하는 행동을 유발하는 프롬프트를 찾기 위해, 연구팀은 지도 학습, DPO(Direct Policy Optimization) 기반 강화 학습, 그리고 혁신적인 Frank-Wolfe 훈련 목표를 활용하여 조사자 모델을 훈련시켰습니다. 이는 마치 베이즈 추론을 효율화하는 것과 유사한 접근 방식입니다.

결과는 충격적입니다. 이렇게 훈련된 조사자 모델은 다양하고 해석 가능한 프롬프트들을 제시하여, LLM을 '탈옥'시키는 데 성공했습니다. AdvBench(Harmful Behaviors)의 하위 집합에 대한 공격 성공률은 무려 100%에 달했으며, 환각 발생률 또한 85%에 이르렀습니다. 이는 LLM의 안전성에 대한 심각한 우려를 제기하는 결과입니다.

하지만 이 연구는 단순히 LLM의 취약성만을 드러낸 것이 아닙니다. 연구팀이 개발한 조사자 모델과 그 훈련 방법은, LLM의 안전성을 평가하고 개선하는 데 중요한 도구로 활용될 수 있습니다. 이를 통해 더욱 안전하고 신뢰할 수 있는 AI 시스템을 구축하는 데 기여할 것으로 기대됩니다.

이 연구는 AI 안전성에 대한 끊임없는 노력과 함께, 기술 발전과 윤리적 고려 사이의 균형을 맞추는 것이 얼마나 중요한지를 다시 한번 일깨워주는 중요한 사례입니다. 앞으로 이러한 연구들이 더욱 활발히 진행되어, AI 기술의 발전과 함께 사회적 책임을 다할 수 있기를 기대합니다.