사이버 보안 LLM의 안전성: CyberLLMInstruct 데이터셋이 밝히는 딜레마

CyberLLMInstruct 데이터셋을 활용한 연구 결과, LLM의 사이버 보안 분야 적용 시 성능 향상과 안전성 보장 간의 상충 관계가 드러났습니다. 파인튜닝은 성능 향상에 기여하지만 동시에 안전성을 저해할 수 있다는 점을 보여주며, 안전한 AI 시스템 개발을 위한 지속적인 연구의 필요성을 강조합니다.

최근 대규모 언어 모델(LLM)이 사이버 보안 분야에 적용되면서 위협 분석 및 악성코드 탐지의 획기적인 발전이 기대되고 있습니다. 하지만 동시에 개인 정보 유출이나 자동화된 악성코드 생성 등의 심각한 안전 문제도 제기되고 있습니다. 이러한 문제를 해결하기 위해 Adel ElZemity, Budi Arief, Shujun Li 등의 연구진이 개발한 CyberLLMInstruct 데이터셋이 주목받고 있습니다.

CyberLLMInstruct는 악성코드 분석, 피싱 시뮬레이션, 제로데이 취약점 발굴 등 다양한 사이버 보안 작업을 위한 54,928개의 명령-응답 쌍으로 구성된 방대한 데이터셋입니다. 여러 출처에서 데이터를 수집하고, 필터링 및 구조화하여 실제 시나리오에 맞춰 설계되었다는 점이 특징입니다.

연구진은 Phi 3 Mini 3.8B, Mistral 7B, Qwen 2.5 7B, Llama 3 8B, Llama 3.1 8B, Gemma 2 9B, Llama 2 70B 등 7개의 오픈소스 LLM을 활용하여 CyberLLMInstruct의 유용성을 검증했습니다. 특히 OWASP Top 10 프레임워크를 기반으로 파인튜닝된 모델의 안전성을 엄격하게 평가한 결과, 놀라운 사실을 발견했습니다. 파인튜닝은 모든 테스트된 LLM과 모든 적대적 공격(예: 프롬프트 삽입)에 대해 안전성을 감소시켰던 것입니다! 예를 들어, Llama 3.1 8B의 경우 프롬프트 삽입에 대한 보안 점수가 0.95에서 0.15로 급격히 떨어졌습니다.

하지만 흥미로운 점은, 이러한 파인튜닝된 모델들이 CyberMetric 벤치마크에서 최대 92.50%의 높은 정확도를 달성했다는 것입니다. 이는 성능 향상과 안전성 보장 사이의 딜레마를 명확히 보여주는 결과입니다. 연구진은 이를 통해 적대적 테스트의 중요성과 안전성 위험을 완화하면서 성능을 향상시키는 새로운 파인튜닝 방법론에 대한 추가 연구의 필요성을 강조하고 있습니다.

CyberLLMInstruct 데이터셋과 연구 결과는 https://github.com/Adelsamir01/CyberLLMInstruct 에서 공개적으로 확인할 수 있습니다. 이 연구는 LLM의 사이버 보안 분야 적용에 대한 안전성 문제를 심각하게 고려해야 함을 시사하며, 향후 더욱 안전하고 신뢰할 수 있는 AI 시스템 개발을 위한 중요한 이정표를 제시합니다.