SuperGPQA: 285개 대학원 학과를 아우르는 LLM 평가의 새로운 기준
SuperGPQA는 285개의 대학원 학과에 걸친 LLM 평가 벤치마크로, 인간-LLM 협업 필터링 메커니즘을 통해 질문의 질을 높였습니다. 최첨단 LLM의 낮은 정확도는 AGI 달성을 위한 상당한 기술적 격차를 시사하며, 대규모 AI 연구를 위한 중요한 방법론적 지침을 제공합니다.
285개 학과를 넘나드는 AI 지능의 도전: SuperGPQA
최근 괄목할 만한 성과를 보이는 대규모 언어 모델(LLM)이지만, 수학, 물리학, 컴퓨터 과학 등 주류 학문 분야를 벗어나면 그 능력은 어떨까요? M-A-P 팀을 비롯한 80명이 넘는 연구진이 개발한 SuperGPQA는 바로 이 질문에 답하기 위해 탄생했습니다. SuperGPQA는 무려 285개의 다양한 대학원 학과를 아우르는 포괄적인 벤치마크로, LLM의 지식과 추론 능력을 종합적으로 평가합니다.
단순한 지식 암기 수준을 넘어, 경제학부터 농업, 서비스 분야까지 다양한 학문 분야에서의 복잡한 문제 해결 능력을 평가하는 SuperGPQA는 기존 벤치마크의 한계를 뛰어넘는 시도입니다. 특히, 연구진은 인간과 LLM의 협업 필터링 메커니즘이라는 혁신적인 방법을 도입했습니다. LLM의 답변과 전문가의 피드백을 반복적으로 활용하여 모호하거나 단순한 질문을 걸러내고, 질문의 질을 높임으로써 평가의 신뢰성을 확보했습니다. 이는 단순히 데이터를 수집하는 것을 넘어, 데이터의 질을 관리하는 새로운 패러다임을 제시하는 사례입니다.
그 결과는 놀라웠습니다. 최첨단 LLM조차 SuperGPQA에서 **61.82%**의 정확도에 머물렀습니다. 이는 현재의 LLM이 아직 인공 일반 지능(AGI)에 도달하기에는 상당한 기술적 격차가 존재함을 보여줍니다. 하지만 동시에, 향후 연구 방향을 제시하는 중요한 이정표이기도 합니다. SuperGPQA는 단순한 평가 도구를 넘어, AI의 한계와 가능성을 동시에 보여주는 중요한 연구 성과로서, AI 발전에 대한 깊이 있는 성찰을 촉구합니다. 80명이 넘는 전문가의 참여와 인간-LLM 협업 시스템 구축 과정은, 향후 대규모 AI 연구를 위한 귀중한 방법론적 지침을 제공합니다. SuperGPQA, 그 웅대한 도전은 이제 막 시작되었습니다.
Reference
[arxiv] SuperGPQA: Scaling LLM Evaluation across 285 Graduate Disciplines
Published: (Updated: )
Author: M-A-P Team, Xinrun Du, Yifan Yao, Kaijing Ma, Bingli Wang, Tianyu Zheng, Kang Zhu, Minghao Liu, Yiming Liang, Xiaolong Jin, Zhenlin Wei, Chujie Zheng, Kaixin Deng, Shian Jia, Sichao Jiang, Yiyan Liao, Rui Li, Qinrui Li, Sirun Li, Yizhi Li, Yunwen Li, Dehua Ma, Yuansheng Ni, Haoran Que, Qiyao Wang, Zhoufutu Wen, Siwei Wu, Tianshun Xing, Ming Xu, Zhenzhu Yang, Zekun Moore Wang, Junting Zhou, Yuelin Bai, Xingyuan Bu, Chenglin Cai, Liang Chen, Yifan Chen, Chengtuo Cheng, Tianhao Cheng, Keyi Ding, Siming Huang, Yun Huang, Yaoru Li, Yizhe Li, Zhaoqun Li, Tianhao Liang, Chengdong Lin, Hongquan Lin, Yinghao Ma, Tianyang Pang, Zhongyuan Peng, Zifan Peng, Qige Qi, Shi Qiu, Xingwei Qu, Shanghaoran Quan, Yizhou Tan, Zili Wang, Chenqing Wang, Hao Wang, Yiya Wang, Yubo Wang, Jiajun Xu, Kexin Yang, Ruibin Yuan, Yuanhao Yue, Tianyang Zhan, Chun Zhang, Jinyang Zhang, Xiyue Zhang, Xingjian Zhang, Yue Zhang, Yongchi Zhao, Xiangyu Zheng, Chenghua Zhong, Yang Gao, Zhoujun Li, Dayiheng Liu, Qian Liu, Tianyu Liu, Shiwen Ni, Junran Peng, Yujia Qin, Wenbo Su, Guoyin Wang, Shi Wang, Jian Yang, Min Yang, Meng Cao, Xiang Yue, Zhaoxiang Zhang, Wangchunshu Zhou, Jiaheng Liu, Qunshu Lin, Wenhao Huang, Ge Zhang
http://arxiv.org/abs/2502.14739v2