AI 안전성 경쟁: DeepSeek-R1 vs. OpenAI o3-mini, 승자는?
스페인 연구팀의 연구 결과, OpenAI의 o3-mini가 DeepSeek-R1보다 훨씬 안전한 것으로 나타났습니다. 자동화된 안전 테스트 도구 ASTRAL을 사용한 분석 결과, o3-mini는 1.2%의 불안전한 응답률을 보인 반면, DeepSeek-R1은 12%의 불안전한 응답률을 기록했습니다. 이는 AI 안전성 평가의 중요성과 자동화된 테스트 도구의 유용성을 보여주는 결과입니다.

최근 AI 업계에 혁신적인 돌풍을 일으킨 DeepSeek-R1. 창의적 사고, 코드 생성, 수학 문제 해결, 자동 프로그램 복구 등 다양한 분야에서 뛰어난 성능을 보여주며 주목받고 있습니다. 하지만 성능만큼 중요한 것이 바로 안전성입니다. 인간의 가치와 안전을 우선시하는 AI 개발은 필수적입니다.
DeepSeek-R1의 강력한 경쟁자로 떠오른 것이 바로 OpenAI의 o3-mini 모델입니다. 성능, 안전성, 비용 면에서 높은 기준을 제시할 것으로 기대되는 모델이죠.
스페인 연구팀은 최근 DeepSeek-R1(70B 버전)과 OpenAI o3-mini(베타 버전)의 안전성 수준을 체계적으로 비교 분석하는 기술 보고서를 발표했습니다. 그들은 ASTRAL이라는 자동화된 안전 테스트 도구를 활용하여 두 모델에 1,260개의 테스트 입력을 자동으로 생성하고 실행했습니다.
결과는 놀라웠습니다. 반자동 평가 결과, DeepSeek-R1은 12%의 불안전한 응답을 생성한 반면, OpenAI o3-mini는 겨우 1.2%만을 생성했습니다. 이는 o3-mini가 DeepSeek-R1보다 훨씬 더 안전하다는 것을 명확히 보여줍니다.
이번 연구는 AI 모델의 안전성 평가에 있어 자동화된 테스트 도구의 중요성을 강조합니다. ASTRAL과 같은 도구는 AI 개발의 안전성을 높이는데 크게 기여할 것으로 기대됩니다. 앞으로 더욱 안전하고 윤리적인 AI 개발을 위한 노력이 계속될 것으로 예상됩니다. 단순히 성능만이 아닌, 안전성 또한 AI 개발의 핵심적인 요소임을 다시 한번 상기시켜주는 결과입니다. AI의 발전과 함께 안전성에 대한 고민 또한 더욱 중요해지고 있습니다.
주요 연구진: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura
Reference
[arxiv] o3-mini vs DeepSeek-R1: Which One is Safer?
Published: (Updated: )
Author: Aitor Arrieta, Miriam Ugarte, Pablo Valle, José Antonio Parejo, Sergio Segura
http://arxiv.org/abs/2501.18438v2