🚨LLM 평가 시스템의 치명적 약점, 백도어 공격 발견!🚨

본 논문은 LLM 평가 시스템의 백도어 취약성을 밝히고, 다양한 수준의 데이터 접근 방식을 통한 공격 가능성을 제시합니다. 모델 병합을 통한 백도어 공격 완화 방안을 제시하며, LLM의 안전한 개발과 배포를 위한 중요한 시사점을 제공합니다.

LLM 평가 시스템의 숨겨진 위협: 백도어 공격의 실체

최근 흥미로운 연구 결과가 발표되었습니다. Terry Tong, Fei Wang, Zhe Zhao, Muhao Chen 이 공동 집필한 논문 "BadJudge: Backdoor Vulnerabilities of LLM-as-a-Judge" 에서는 LLM(대규모 언어 모델)을 평가하는 시스템의 심각한 취약점을 밝혔습니다. 바로 백도어 공격입니다.

이 연구는 공격자가 평가 모델과 후보 모델을 모두 조작하여 악의적으로 높은 점수를 받도록 하는 새로운 백도어 공격 방식을 제시합니다. 단순한 토큰 조작만으로도 평가자 훈련 데이터의 1%만 변조해도 공격자의 점수가 정상적인 점수보다 3배나 높아지는 충격적인 결과를 보여줍니다.

연구팀은 실제 환경을 반영하여 데이터 접근 수준을 세 가지로 분류했습니다.

1. 웹 데이터 조작: 가장 약한 수준의 공격으로, 웹 데이터를 조작하여 20%의 점수 인플레이션을 유도합니다.
2. 악성 어노테이터: 중간 수준의 공격으로, 악의적인 어노테이터를 통해 데이터를 변조합니다.
3. 가중치 조작: 가장 강력한 수준의 공격으로, 모델의 가중치를 직접 조작하여 점수를 1.5/5에서 4.9/5로 끌어올릴 수 있습니다.

놀랍게도, 이 백도어 공격은 평가자 아키텍처, 트리거 설계, 평가 작업, 데이터 중독률에 관계없이 광범위하게 적용 가능하다는 사실이 밝혀졌습니다. 예를 들어, 평가자 훈련 데이터의 10%만 조작해도 유해성 평가 시스템을 속여 유해한 프롬프트를 89%의 확률로 무해한 것으로 잘못 분류하도록 만들 수 있었습니다. 또한, RAG(Retrieval Augmented Generation)에서 poisoned document를 97% 확률로 상위에 랭크되도록 조작하는 것도 가능했습니다.

이러한 백도어 공격은 윤리적, 기술적 측면 모두에서 심각한 문제를 야기합니다. 잘못된 모델 선택과 평가는 사회적 영향을 미칠 수 있고, 방어 수단 또한 제한적입니다.

하지만 희망적인 소식도 있습니다. 연구팀은 모델 병합이라는 기술을 통해 백도어 공격을 효과적으로 완화할 수 있다는 것을 확인했습니다. 모델 병합은 계산 비용이 적고 기존 LLM 평가 파이프라인에 쉽게 통합될 수 있어 백도어 공격 방지에 유용한 방법으로 기대됩니다.

이 연구는 LLM 평가 시스템의 안전성과 신뢰성을 확보하기 위한 중요한 전환점을 제시합니다. 앞으로 LLM의 안전한 개발과 배포를 위해서는 백도어 공격에 대한 지속적인 연구와 대응이 필수적입니다.