챗봇 공격의 새로운 지평: LLM 기반 에이전트의 행동 하이재킹


대규모 언어 모델 기반 에이전트의 행동을 하이재킹하는 새로운 공격 기법 'Name'이 등장하여 AI 시스템의 안전성에 대한 우려를 증폭시키고 있습니다. 높은 성공률을 기록한 이 공격은 기존 안전 필터를 우회하며, AI 시스템 보안의 중요성을 다시 한번 강조합니다.

related iamge

최근 몇 년 동안, 대규모 언어 모델(LLM) 기반 지능형 에이전트는 복잡한 작업 수행 능력에서 놀라운 발전을 이루었습니다. 이러한 LLM 기반 에이전트는 질문을 작업으로 받아들이고, 내장된 LLM을 통해 다양한 하위 작업으로 분해하여 외부 엔티티(예: 도구, AI 에이전트)의 행동을 안내하여 사용자 질문에 답변합니다. 의료, 금융, 코드 완성 등 노동 집약적인 분야에서 널리 사용되고 있죠. 하지만 동시에 이러한 에이전트의 악용 가능성에 대한 우려도 제기되고 있으며, 서비스 제공업체는 내장된 안전 장치를 마련하고 있습니다.

기존 연구에서는 메모리 포이즈닝, 탈옥, 프롬프트 주입 등 다양한 공격 방식이 제안되었지만, 에이전트가 사용하는 제한된 권한과 질의의 유해한 의미 때문에 안전 필터를 통과하는 데 어려움을 겪었습니다.

하지만 이제 새로운 위협이 등장했습니다. Zhang Yuyang 등 연구진이 발표한 논문 "Towards Action Hijacking of Large Language Model-based Agent" 에서는 블랙박스 에이전트 시스템의 행동 계획을 조작하는 새로운 하이재킹 공격 'Name'을 소개했습니다.

'Name'은 장기 메모리에서 프롬프트 절도를 통해 행동 인식 메모리를 수집한 후, 에이전트의 내부 메모리 검색 메커니즘을 이용하여 잘못된 컨텍스트를 제공합니다. 검색기와 안전 필터의 잠재 공간 간의 큰 차이 덕분에 'Name'은 탐지를 쉽게 우회할 수 있습니다. 실험 결과는 'Name'의 효과를 명확히 보여줍니다. 무려 99.67%의 ASR(Action Success Rate)과 안전 필터 우회율 92.7%를 달성했습니다.

이 연구는 LLM 기반 에이전트의 안전성에 대한 심각한 우려를 제기합니다. 단순히 프롬프트 엔지니어링을 넘어, 에이전트의 내부 메커니즘을 악용하는 고도화된 공격이 가능하다는 것을 보여주기 때문입니다. 앞으로 LLM 기반 에이전트의 안전성 확보를 위한 더욱 강력하고 정교한 보안 기술 개발이 시급해 보입니다. 'Name'의 등장은 우리에게 AI 시스템의 안전성에 대한 지속적인 경계와 혁신적인 보안 연구의 필요성을 일깨워줍니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Towards Action Hijacking of Large Language Model-based Agent

Published:  (Updated: )

Author: Yuyang Zhang, Kangjie Chen, Xudong Jiang, Yuxiang Sun, Run Wang, Lina Wang

http://arxiv.org/abs/2412.10807v1