AI 안전성 평가의 새 지평: AILuminate v1.0 공개
MLCommons가 발표한 AI 안전성 및 신뢰성 벤치마크 AILuminate v1.0은 12가지 위험 범주에 대한 포괄적인 평가와 독창적인 엔트로피 기반 평가 시스템을 통해 AI 시스템의 안전성을 측정합니다. 5단계 등급 시스템으로 결과를 명확하게 제시하며, 향후 개선 및 개발의 필요성을 함께 제시합니다.
급속한 AI 발전과 배포는 표준 안전 평가 프레임워크에 대한 절실한 필요성을 불러일으켰습니다. 이러한 시대적 요구에 발맞춰, MLCommons는 AI 제품의 위험 및 신뢰성을 평가하기 위한 포괄적인 산업 표준 벤치마크인 AILuminate v1.0을 공개했습니다. Shaona Ghosh 등 다수의 저명한 연구자들이 참여한 이 프로젝트는 여러 분야의 전문가들의 공개적인 협업을 통해 탄생했습니다.
AILuminate v1.0은 AI 시스템이 위험하거나 불법적이거나 바람직하지 않은 행동을 유발하는 프롬프트에 대한 저항력을 평가합니다. 평가 범주는 폭력 범죄, 비폭력 범죄, 성 관련 범죄, 아동 성 착취, 무차별 무기, 자살 및 자해, 지적 재산권, 개인 정보 보호, 명예 훼손, 증오, 성적 콘텐츠, 전문적인 조언(선거, 금융, 건강, 법률) 등 총 12가지에 달합니다. 단순히 위험 요소를 나열하는 데 그치지 않고, 독창적인 엔트로피 기반 시스템 응답 평가를 도입하여 시스템의 안전성을 보다 정밀하게 측정합니다.
평가 결과는 이해하기 쉬운 5단계 등급 시스템(Poor~Excellent) 으로 제시되어, AI 시스템의 안전성 수준을 명확하게 파악할 수 있도록 돕습니다. 또한, 장기적인 지원과 발전을 위한 기술적 및 조직적 인프라를 구축하여 지속적인 개선을 약속합니다.
하지만 연구진은 AILuminate v1.0의 한계점 또한 명확히 밝히고 있습니다. 단일 턴 상호 작용의 제한, 평가자의 불확실성 등이 그 예시입니다. 향후 다중 턴 상호 작용, 다중 모달 이해, 다국어 지원, 새로운 위험 범주 추가 등의 지속적인 개발이 필요함을 강조하며, 모델 개발자, 시스템 통합자, 정책 입안자들에게 더욱 안전한 AI 배포를 위한 귀중한 통찰력을 제공합니다. AI 안전성이라는 중요한 이슈에 대한 꾸준한 노력과 발전이 기대됩니다.
주요 키워드: AILuminate, AI 안전성, AI 신뢰성, 벤치마크, MLCommons, AI 위험 평가, 엔트로피 기반 평가
Reference
[arxiv] AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons
Published: (Updated: )
Author: Shaona Ghosh, Heather Frase, Adina Williams, Sarah Luger, Paul Röttger, Fazl Barez, Sean McGregor, Kenneth Fricklas, Mala Kumar, Quentin Feuillade--Montixi, Kurt Bollacker, Felix Friedrich, Ryan Tsang, Bertie Vidgen, Alicia Parrish, Chris Knotz, Eleonora Presani, Jonathan Bennion, Marisa Ferrara Boston, Mike Kuniavsky, Wiebke Hutiri, James Ezick, Malek Ben Salem, Rajat Sahay, Sujata Goswami, Usman Gohar, Ben Huang, Supheakmungkol Sarin, Elie Alhajjar, Canyu Chen, Roman Eng, Kashyap Ramanandula Manjusha, Virendra Mehta, Eileen Long, Murali Emani, Natan Vidra, Benjamin Rukundo, Abolfazl Shahbazi, Kongtao Chen, Rajat Ghosh, Vithursan Thangarasa, Pierre Peigné, Abhinav Singh, Max Bartolo, Satyapriya Krishna, Mubashara Akhtar, Rafael Gold, Cody Coleman, Luis Oala, Vassil Tashev, Joseph Marvin Imperial, Amy Russ, Sasidhar Kunapuli, Nicolas Miailhe, Julien Delaunay, Bhaktipriya Radharapu, Rajat Shinde, Tuesday, Debojyoti Dutta, Declan Grabb, Ananya Gangavarapu, Saurav Sahay, Agasthya Gangavarapu, Patrick Schramowski, Stephen Singam, Tom David, Xudong Han, Priyanka Mary Mammen, Tarunima Prabhakar, Venelin Kovatchev, Ahmed Ahmed, Kelvin N. Manyeki, Sandeep Madireddy, Foutse Khomh, Fedor Zhdanov, Joachim Baumann, Nina Vasan, Xianjun Yang, Carlos Mougn, Jibin Rajan Varghese, Hussain Chinoy, Seshakrishna Jitendar, Manil Maskey, Claire V. Hardgrove, Tianhao Li, Aakash Gupta, Emil Joswin, Yifan Mai, Shachi H Kumar, Cigdem Patlak, Kevin Lu, Vincent Alessi, Sree Bhargavi Balija, Chenhe Gu, Robert Sullivan, James Gealy, Matt Lavrisa, James Goel, Peter Mattson, Percy Liang, Joaquin Vanschoren
http://arxiv.org/abs/2503.05731v1