멈추지 않는 언어 모델: Engorgio 프롬프트 공격의 위협
중국과학원 연구진은 대규모 언어 모델(LLM)의 새로운 취약성을 공격하는 Engorgio 프롬프트 기법을 발표했습니다. Engorgio는 악성 프롬프트를 생성하여 LLM의 추론 비용을 증가시키고, <EOS> 토큰 발생을 억제하여 비정상적으로 긴 응답을 유도합니다. 13개의 오픈소스 LLM을 대상으로 한 실험에서 평균 2~13배 길어진 응답 생성을 확인, 실제 서비스에 대한 위협을 시사하며 LLM의 안전성에 대한 심각한 우려를 제기합니다.

최근 괄목할 만한 성능을 보이는 대규모 언어 모델(LLM)이지만, 동시에 새로운 위협에도 노출되어 있습니다. 중국과학원의 연구진(Jianshuo Dong 외 9명)이 발표한 논문 "An Engorgio Prompt Makes Large Language Model Babble on"은 이러한 위협에 대한 심각한 경고를 울리고 있습니다. 연구진은 Engorgio라는 새로운 공격 기법을 통해 LLM의 추론 비용을 인위적으로 높이고 서비스 가용성을 저하시킬 수 있음을 증명했습니다.
Engorgio: LLM의 무한 루프를 유발하는 악성 프롬프트
Engorgio는 악성 프롬프트를 생성하여 LLM을 마치 무한 루프에 빠뜨리는 것과 같습니다. LLM의 자기회귀적(auto-regressive) 특성을 악용하여, 문장 생성 종료 토큰인 <EOS>의 발생을 억제하는 것이 핵심입니다. 연구진은 LLM의 예측 경로를 추적하기 위해 매개변수화된 분포를 사용하고, <EOS> 토큰의 출현을 효과적으로 억제하는 새로운 손실 함수를 고안했습니다.
실험 결과: 2~13배 길어진 응답, 그리고 현실적인 위협
125M에서 30B까지 다양한 크기의 13개 오픈소스 LLM을 대상으로 실험한 결과, Engorgio 프롬프트는 LLM이 정상적인 길이보다 2배에서 최대 13배까지 긴 응답을 생성하게 만들었습니다 (출력 길이 제한의 90%에 도달하는 시간 기준). 더욱 중요한 것은, 이러한 공격이 제한된 컴퓨팅 자원을 가진 실제 LLM 서비스에 대한 현실적인 위협임을 실증했다는 점입니다. 이는 단순한 학술적 연구를 넘어, 실제 서비스 운영에 있어 심각한 보안 위협을 제기하는 결과입니다. (코드는 https://github.com/jianshuod/Engorgio-prompt 에서 확인 가능합니다.)
미래를 위한 경고: 안전하고 강력한 LLM 개발의 중요성
이 연구는 LLM의 안전성에 대한 심각한 우려를 제기합니다. 향후 LLM 개발자들은 Engorgio와 같은 공격에 대한 대비책을 마련하고, 더욱 안전하고 강력한 모델을 개발하는 데 힘써야 할 것입니다. 이번 연구는 LLM의 발전과 동시에 그 안전성에 대한 지속적인 연구와 개발의 필요성을 다시 한번 강조하는 중요한 사례입니다. 단순히 성능만을 추구하기보다는, 안전성과 신뢰성을 확보하는 것이야말로 LLM 기술 발전의 핵심이 될 것입니다.
Reference
[arxiv] An Engorgio Prompt Makes Large Language Model Babble on
Published: (Updated: )
Author: Jianshuo Dong, Ziyuan Zhang, Qingjie Zhang, Han Qiu, Tianwei Zhang, Hao Wang, Hewu Li, Qi Li, Chao Zhang, Ke Xu
http://arxiv.org/abs/2412.19394v1