잠재적 위험 완벽 제거 어려워… 모델 조작 공격으로 LLM 평가 강화

본 연구는 기존의 LLM 위험 평가 방식의 한계를 지적하고, 모델 조작 공격이라는 새로운 방법을 제시하여 LLM의 위험성을 더욱 철저히 평가할 수 있음을 보여줍니다. 연구 결과는 LLM의 유해 기능 제거의 어려움과 더욱 엄격한 평가의 필요성을 강조합니다.

최근 Zora Che 등 14명의 연구원이 발표한 논문 "Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities"는 대규모 언어 모델(LLM)의 위험성 평가에 대한 새로운 관점을 제시합니다. 기존의 LLM 위험 평가는 주로 유해한 행동을 유발하는 입력을 설계하는 방식으로 이루어졌습니다. 하지만 이 방법은 모델의 최악의 경우 동작을 하한선으로만 제시할 뿐, 실제 위험성을 완전히 파악하기에는 부족합니다.

🤔 기존 방식의 한계: 마치 빙산의 일각만 보는 것과 같습니다. 보이는 유해 행동만으로는 숨겨진 더 큰 위험을 예측할 수 없습니다.

본 연구는 이러한 한계를 극복하기 위해 모델 조작 공격이라는 새로운 방법을 제시합니다. 잠재적 활성화 또는 가중치를 직접 조작하여 모델의 행동을 유도하는 방식입니다. 연구팀은 최첨단 유해 기능 제거 기술과 5가지 입력 공간 공격, 6가지 모델 조작 공격을 비교 분석했습니다.

그 결과, 놀랍게도 다음과 같은 사실을 발견했습니다.

1. 모델의 견고성은 저차원의 견고성 부분 공간에 존재합니다. 즉, 특정 취약점을 공략하면 모델의 안전성을 쉽게 깨뜨릴 수 있다는 의미입니다.
2. 모델 조작 공격의 성공률은 숨겨진 입력 공간 공격의 성공률을 예측하는 데 도움이 됩니다. 모델 조작 공격을 통해 미리 위험성을 예측할 수 있다는 점은 매우 중요한 발견입니다.
3. 최첨단 학습 제거 방법은 16단계의 미세 조정으로 쉽게 무효화될 수 있습니다. 즉, 유해 기능을 제거하는 것이 생각보다 훨씬 어렵다는 것을 의미합니다.

결론적으로, 이 연구는 유해 LLM 기능 제거의 어려움을 강조하고, 모델 조작 공격이 입력 공간 공격만으로는 불가능한 더욱 엄격한 평가를 가능하게 함을 보여줍니다. 연구팀은 Hugging Face에 모델을 공개하여 (https://huggingface.co/LLM-GAT) 더 많은 연구와 검증을 장려하고 있습니다. 이 연구는 LLM의 안전성 확보를 위한 중요한 이정표가 될 것으로 예상됩니다. 앞으로 LLM의 안전성 확보를 위한 연구는 더욱 강화될 필요가 있으며, 모델 조작 공격과 같은 새로운 접근법을 통해 AI의 안전한 발전을 위한 노력이 지속되어야 할 것입니다.