범용 AI 평가의 혁신: 설명력과 예측력을 갖춘 일반 척도의 등장

Lexin Zhou 등 25명의 연구자들은 AI 평가를 위한 일반 척도를 제시하여 기존 벤치마킹의 한계를 극복하고, AI 시스템의 능력 프로필을 추출하며, 새로운 작업에 대한 성능을 예측하는 획기적인 방법을 제시했습니다. 18개의 새로운 평가 기준과 15개의 대규모 언어 모델, 63개의 작업에 대한 실험 결과는 높은 설명력과 예측력을 보여주었으며, 향후 AI의 안전하고 신뢰할 수 있는 배포에 기여할 것으로 기대됩니다.

AI의 안전하고 효과적인 사용을 보장하기 위해서는 새로운 작업(과학적 난제부터 변화된 직장 활동까지)에서의 성능을 이해하고 예측하는 것이 필수적입니다. 지금까지 벤치마킹은 AI 발전을 이끌었지만, 다양한 작업 간 전이성이 낮아 범용 AI 시스템에 대한 설명력과 예측력은 제한적이었습니다.

하지만 최근, Lexin Zhou 등 25명의 연구자들이 발표한 논문 "General Scales Unlock AI Evaluation with Explanatory and Predictive Power"는 이러한 한계를 극복할 획기적인 해결책을 제시합니다. 바로 일반 척도(General Scales) 입니다. 이 척도는 AI 벤치마킹이 실제로 무엇을 측정하는지 설명하고, AI 시스템의 능력 프로필을 추출하며, 새로운 작업 인스턴스(in-distribution 및 out-of-distribution)에 대한 성능을 예측할 수 있습니다.

연구팀은 완전 자동화된 방법론을 통해 18개의 새롭게 고안된 평가 기준(rubrics) 을 개발했습니다. 이 기준들은 포화되지 않는 일반 척도에 인스턴스 요구 사항을 적용합니다. 15개의 대규모 언어 모델과 63개의 작업에 대한 실험 결과, 요구 사항 및 능력 프로필을 검토하여 높은 설명력을 확보했습니다. 이를 통해 각 벤치마킹의 민감도와 특이성, 모델 크기, 사고 연쇄(chain-of-thought), 증류(distillation)가 지식, 메타인지, 추론에 미치는 영향에 대한 통찰력을 얻었습니다.

놀랍게도, 이러한 요구 수준을 사용하여 인스턴스 수준에서 높은 예측력을 달성했습니다. 임베딩이나 미세 조정(finetuning) 기반의 블랙박스 기준 예측기보다 뛰어난 추정치를 제공하며, 특히 out-of-distribution 설정(새로운 작업 및 새로운 벤치마킹)에서 그 효과가 두드러집니다.

본 연구에서 제시된 척도, 평가 기준, 배터리, 기술 및 결과는 AI 평가에 있어 중요한 발걸음이며, 앞으로 몇 년 동안 AI의 안정적인 배포를 위한 기반을 마련할 것입니다. 이 연구는 AI의 발전에 있어서 단순한 성능 측정을 넘어, AI의 내부 작동 방식에 대한 이해와 예측 가능성을 높이는 획기적인 전환점을 제시했다고 평가할 수 있습니다. 앞으로 이러한 일반 척도를 활용한 연구들이 AI 기술의 안전하고 윤리적인 발전에 크게 기여할 것으로 기대됩니다.