AI 평가의 혁신: 일반 척도가 열어젖히는 새로운 가능성

Lexin Zhou 등 25명의 연구자들이 개발한 '일반 척도'는 AI 평가의 새로운 기준을 제시합니다. 18개의 새로운 평가 기준을 통해 AI 시스템의 능력을 정확하게 평가하고 예측하며, 기존 벤치마킹의 한계를 극복합니다. 15개의 LLM과 63개의 과제를 대상으로 한 실험에서 놀라운 설명력과 예측력을 보였으며, AI의 안전하고 신뢰할 수 있는 배포에 기여할 것으로 기대됩니다.

AI의 안전하고 효과적인 활용을 위해서는 새로운 과제들에 대한 AI의 성능을 이해하고 예측하는 것이 필수적입니다. 과학적 난제부터 변화하는 직장 환경까지, AI는 다양한 분야에서 활용되고 있으며, 그 성능 평가는 매우 중요한 문제입니다.

기존의 벤치마킹은 AI 발전에 기여해왔지만, 다양한 과제 간 전이성이 낮아 일반 목적 AI 시스템에 대한 설명력과 예측력이 제한적이었습니다. 하지만 최근, Lexin Zhou 등 25명의 연구자들은 일반 척도(general scales) 를 도입하여 AI 평가의 새로운 지평을 열었습니다. 이 연구는 18개의 새롭게 고안된 평가 기준(rubrics)을 바탕으로, AI 시스템의 능력 프로필을 추출하고 새로운 과제에 대한 성능을 예측할 수 있는 가능성을 제시합니다. 이는 기존의 벤치마킹의 한계를 극복하는 획기적인 연구입니다.

이 연구의 핵심:

• 일반 척도: 다양한 과제에 적용 가능한 범용적인 평가 기준을 개발, 기존 벤치마킹의 한계 극복
• 18개의 새로운 rubrics: AI 시스템의 능력을 다각적으로 평가하기 위한 세분화된 기준 제시
• 15개의 LLM과 63개의 과제: 대규모 실험을 통해 일반 척도의 유효성 검증
• 놀라운 예측력: 임베딩이나 미세 조정(fine-tuning) 기반의 기존 예측 모델보다 우수한 성능
• 높은 설명력: 다양한 벤치마크의 민감도와 특이성, 모델 크기, 사고 연쇄, 증류 등이 AI 시스템의 지식, 메타인지, 추론 능력에 미치는 영향에 대한 통찰력 제공

연구 결과: 15개의 대규모 언어 모델(LLM)과 63개의 과제를 대상으로 한 실험 결과, 일반 척도는 놀라운 예측력과 설명력을 보였습니다. 특히, 새로운 과제나 새로운 벤치마크(out-of-distribution) 환경에서 기존의 블랙박스 예측 모델보다 훨씬 우수한 성능을 나타냈습니다. 이는 AI 시스템의 능력을 보다 정확하게 평가하고 예측하는 데 중요한 진전입니다. 연구팀은 이러한 일반 척도, 평가 기준, 실험 결과를 공개 플랫폼 (https://kinds-of-intelligence-cfi.github.io/ADELE)을 통해 공유하여 AI 연구 발전에 기여하고 있습니다. 이는 AI의 안전하고 신뢰할 수 있는 배포를 위한 중요한 발걸음으로 평가됩니다.

본 연구는 AI 평가 분야에 획기적인 변화를 가져올 것으로 기대되며, 앞으로 AI 시스템의 개발과 배포에 있어 중요한 역할을 할 것으로 예상됩니다. 특히, AI의 설명 가능성(Explainability)과 예측 가능성(Predictability)을 높이는 데 크게 기여하여, 보다 안전하고 신뢰할 수 있는 AI 시스템의 개발을 가능하게 할 것입니다.