중국 대입시험으로 LLM 평가한다면? 🤔 'GAOKAO-Eval'이 제시하는 새로운 가능성과 한계


본 기사는 중국 대입시험(가오카오) 기반의 새로운 LLM 평가 벤치마크 GAOKAO-Eval에 대한 연구 결과를 소개합니다. 고득점이 실제 인간과 유사한 능력을 반영하지 못한다는 점을 밝히고, LLM의 능력 평가를 위한 새로운 접근 방식의 필요성을 강조합니다.

related iamge

중국 대입시험으로 거대언어모델(LLM)의 실력을 평가하다: GAOKAO-Eval

최근 급격한 발전을 이룬 거대언어모델(LLM)은 인간이 만든 벤치마크를 통해 평가받아 왔습니다. 하지만 높은 점수가 실제 인간과 유사한 능력을 의미하는지에 대한 의문이 제기되고 있습니다. 데이터 유출 등으로 벤치마크를 '게임'하는 LLM이 등장하면서, 고득점에도 불구하고 단순한 작업에서 어려움을 겪는 현상이 나타나고 있기 때문입니다.

Lei Zhikai 등 11명의 연구자는 이 문제를 해결하기 위해 중국 대입시험인 가오카오를 기반으로 한 새로운 벤치마크, GAOKAO-Eval을 개발했습니다. 가오카오 이전에 공개된 대표적인 모델들을 대상으로 '오픈북'이 아닌 '클로즈드북' 방식의 평가를 실시한 결과는 충격적이었습니다. 데이터 유출 문제와 벤치마크의 포괄성을 고려하더라도, 고득점이 인간과 유사한 능력을 반영하지 못한다는 사실을 확인한 것입니다.

연구팀은 인지심리학의 라쉬 모델을 활용하여 LLM의 채점 패턴을 분석했습니다. 그 결과, 두 가지 주요 차이점을 발견했습니다. 첫째, 난이도에 관계없이 일관된 성능을 보이는 현상입니다. 둘째, 유사한 난이도의 문제에서 성능 편차가 크게 나타나는 현상입니다. 뿐만 아니라, LLM이 생성한 답안에 대한 교사 간 채점 불일치와 반복적인 오류 패턴도 확인되었습니다. 이러한 현상은 OpenAI의 o1 모델의 개발 동기와 밀접한 관련이 있으며, '이유 추론 기반 난이도 분석'을 통해 이러한 불일치를 완화할 수 있음을 시사합니다.

GAOKAO-Eval은 기존 벤치마크가 포착하지 못한 LLM의 한계를 드러내는 동시에, LLM에 맞는 새로운 난이도 분석의 필요성을 강조합니다. 높은 점수가 곧 뛰어난 능력을 의미하지 않는다는 사실은, LLM 평가 방식에 대한 근본적인 재검토를 요구하는 중요한 발견입니다. 앞으로 LLM의 진정한 능력을 평가하기 위한 더욱 정교하고 종합적인 평가 기준이 마련되어야 할 것입니다. GAOKAO-Eval은 그 첫걸음이 될 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] GAOKAO-Eval: Does high scores truly reflect strong capabilities in LLMs?

Published:  (Updated: )

Author: Zhikai Lei, Tianyi Liang, Hanglei Hu, Jin Zhang, Yunhua Zhou, Yunfan Shao, Linyang Li, Chenchui Li, Changbo Wang, Hang Yan, Qipeng Guo

http://arxiv.org/abs/2412.10056v1