중국어 환경에서 DeepSeek 모델의 안전성 평가: CHiSafetyBench의 등장

본 기사는 중국어 환경에서 DeepSeek 모델의 안전성 평가를 위한 새로운 벤치마크인 CHiSafetyBench의 개발과 DeepSeek-R1, DeepSeek-V3 모델의 안전성 취약점 분석 결과를 다룹니다. 연구진은 벤치마크의 한계점을 명시하고 지속적인 개선을 약속하며, AI 모델의 안전성 확보를 위한 중요한 연구 결과를 제시합니다.

최근 뛰어난 추론 능력과 오픈소스 전략으로 주목받는 DeepSeek 모델 시리즈가 전 세계 AI 시장을 재편하고 있습니다. 하지만 이러한 장점에도 불구하고, DeepSeek 모델은 심각한 안전성 결함을 가지고 있다는 사실이 드러났습니다. Cisco 자회사인 Robust Intelligence와 펜실베이니아 대학교의 공동 연구 결과, DeepSeek-R1은 유해한 프롬프트 처리 시 100% 공격 성공률을 보였습니다. 여러 안전 관련 기업과 연구 기관들 또한 이 모델의 심각한 안전 취약성을 확인했습니다.

DeepSeek 모델은 중국어와 영어 모두에서 뛰어난 성능을 보이는 만큼, 두 언어 환경 모두에서 철저한 안전성 평가가 필수적입니다. 그러나 기존 연구는 대부분 영어 환경에 초점을 맞춰 중국어 환경에서의 안전성 평가는 부족한 실정이었습니다.

이러한 문제를 해결하기 위해, Zhang Wenjing 등 11명의 연구자들은 중국어 특화 안전성 평가 벤치마크인 CHiSafetyBench를 개발했습니다. CHiSafetyBench는 DeepSeek-R1과 DeepSeek-V3 모델의 중국어 환경 안전성을 체계적으로 평가하여 각 안전성 범주별 성능을 분석합니다. 실험 결과는 두 모델의 중국어 환경 안전성 취약점을 수치적으로 제시하며, 향후 모델 개선을 위한 중요한 통찰력을 제공합니다.

연구진은 포괄적이고 객관적이며 권위 있는 평가 벤치마크를 구축하기 위해 노력했지만, 테스트 샘플 선택, 데이터 분포 특성, 평가 기준 설정 등은 평가 결과에 불가피하게 특정 편향을 도입할 수 있다는 점을 인지하고 있습니다. 연구진은 지속적으로 평가 벤치마크를 최적화하고 정기적으로 보고서를 업데이트하여 더욱 포괄적이고 정확한 평가 결과를 제공할 예정입니다. 가장 최신의 평가 결과와 결론은 논문의 최신 버전을 참조하시기 바랍니다.

결론적으로, 이 연구는 AI 모델의 안전성을 확보하기 위한 중요한 단계를 보여주는 동시에, 지속적인 연구와 개선의 필요성을 강조하고 있습니다. CHiSafetyBench의 개발은 AI 안전성 평가 분야에 중요한 기여를 할 것으로 기대됩니다. 특히 중국어를 포함한 다양한 언어 환경에서의 AI 모델 안전성 평가에 대한 연구는 더욱 활발해질 것으로 예상됩니다.