혁신적인 AI 보안 기술 등장: 악성 프롬프트 공격으로부터 LLM 에이전트 보호하는 MELON

본 기사는 LLM 에이전트의 간접 프롬프트 주입 공격 방어를 위한 혁신적인 기법인 MELON에 대해 소개합니다. MELON은 기존 방어 기법의 한계를 극복하고, 효율적이면서도 강력한 방어 성능을 제공합니다.

최근 LLM(대규모 언어 모델) 에이전트가 간접 프롬프트 주입(IPI) 공격에 취약하다는 연구 결과가 발표되었습니다. IPI 공격은 도구에서 가져온 정보에 악성 작업을 삽입하여 에이전트를 무단으로 조작하는 공격 방식입니다. Kaijie Zhu, Xianjun Yang, Jindong Wang, Wenbo Guo, William Yang Wang 등 연구진은 이러한 IPI 공격에 대한 기존 방어 기법의 한계를 지적하며, 새로운 방어 메커니즘인 MELON(Masked re-Execution and TooL comparisON) 을 제시했습니다.

기존 방어 기법들은 모델 재훈련이 필요하거나, 정교한 공격에는 효과가 없거나, 에이전트의 정상적인 기능을 저해하는 등의 단점을 가지고 있었습니다. 하지만 MELON은 다릅니다. 연구진은 성공적인 공격 하에서 에이전트의 다음 행동이 사용자 작업보다는 악성 작업에 더 의존한다는 점에 착안했습니다.

MELON은 마스킹 함수를 통해 수정된 가면된 사용자 프롬프트로 에이전트의 경로를 재실행하여 공격을 탐지합니다. 원래 실행과 가면된 실행에서 생성된 행동이 유사하면 공격으로 판단하는 방식입니다. 또한, 잘못된 양성 및 음성을 줄이기 위한 세 가지 핵심 설계를 포함하고 있습니다.

AgentDojo라는 IPI 벤치마크를 사용한 광범위한 평가 결과, MELON은 공격 방지 및 유용성 보존 측면에서 기존 최고 성능(SOTA) 방어 기법들을 능가하는 것으로 나타났습니다. 더 나아가, SOTA 프롬프트 증강 방어 기법과 MELON을 결합한 MELON-Aug는 성능을 더욱 향상시켰습니다. 연구진은 핵심 설계의 유효성을 검증하기 위한 상세한 실험도 수행했습니다.

이 연구는 간단한 프롬프트 수정만으로도 LLM 에이전트의 안전성을 크게 향상시킬 수 있다는 것을 보여줍니다. 이는 AI 기술의 발전과 함께 더욱 중요해지는 AI 보안 분야에 있어서 중요한 진전입니다. 향후 MELON이 실제 환경에서 어떻게 적용될지, 그리고 더욱 발전된 형태로 AI 시스템의 안전성을 강화하는 데 기여할지 주목할 만합니다. 특히, 가면된 프롬프트 재실행이라는 독창적인 아이디어는 다른 AI 보안 연구에도 영감을 줄 것으로 기대됩니다.