2030년 AGI 도래 가능성, AI가 예측하다: LLM의 복잡한 추론 능력 탐구
이탈리아 연구진은 16개의 LLM을 이용해 2030년 AGI 출현 가능성을 예측하고, LLM 상호 평가 시스템을 통해 예측의 정확성을 높였습니다. 결과는 전문가 예측과 유사했으며, 새로운 AGI 벤치마크 개발로 AI 성능 평가의 발전을 이끌었습니다.

최근 이탈리아 연구진(Fabrizio Davide, Pietro Torre, Andrea Gaggioli)의 놀라운 연구 결과가 발표되었습니다. 연구진은 16개의 최첨단 대규모 언어 모델(LLM)을 활용하여 2030년까지 인공 일반 지능(AGI)이 출현할 가능성을 예측하는 실험을 진행했습니다. 이는 단순한 예측에 그치지 않고, LLM 자체가 서로의 예측을 평가하는 자동화된 동료 검토 시스템(LLM-PR)까지 구축하여 그 정확성을 높였습니다.
놀라운 결과: 전문가 예측과 일치하는 LLM의 예측
실험 결과는 매우 흥미로웠습니다. LLM들의 AGI 출현 가능성 예측은 3%(Reka-Core)에서 47.6%(GPT-4o)까지 넓게 분포했지만, 중간값은 12.5%로 나타났습니다. 주목할 만한 점은 이 수치가 2027년까지 AGI 출현 가능성을 10%로 예측한 최근 전문가 설문조사 결과와 매우 유사하다는 것입니다. 이는 LLM이 복잡하고 불확실한 미래 시나리오를 예측하는 데 유용한 도구임을 시사합니다.
LLM 상호 평가 시스템의 높은 신뢰도: 객관적인 평가의 가능성
LLM-PR 시스템의 신뢰도는 매우 높았습니다. 내부 일치 계수(ICC)가 0.79로 나타나, 모델 간 점수 부여의 일관성이 높았음을 보여줍니다. Pplx-70b-online이 최고 성능을 보였고, Gemini-1.5-pro-api가 최저 성능을 보였습니다. LMSYS Chatbot Arena와 같은 외부 벤치마크와의 비교 분석 결과, LLM 순위는 평가 방법에 관계없이 일관성을 유지했습니다. 이는 기존 벤치마크가 AGI 예측에 필요한 특정 기술들을 충분히 포괄하지 못하고 있음을 시사합니다.
새로운 AGI 벤치마크의 등장: 더욱 정교한 평가 시스템으로
연구진은 외부 벤치마크를 기반으로 가중치 부여 방식을 적용하여 LLM 예측과 인간 전문가 예측의 일치도를 높였습니다. 이를 통해 AGI 관련 작업에서 성능 차이를 명확하게 보여주는 새로운 'AGI 벤치마크'를 개발했습니다. 이는 AI 성능 평가 분야의 중요한 발전이며, 복잡하고 불확실한 실제 상황에서 AI의 역할을 더욱 정확하게 이해하는 데 크게 기여할 것으로 기대됩니다.
결론적으로, 이 연구는 LLM의 추론 능력에 대한 귀중한 통찰력을 제공하며, 복잡하고 불확실한 실제 세계 시나리오에서 AI 성능을 평가하기 위한 혁신적인 평가 프레임워크의 필요성을 강조합니다. AGI의 도래 가능성을 예측하는 것에서 멈추지 않고, AI 자체가 이러한 예측의 정확성을 높이는 데 기여하는 모습은 AI 기술의 놀라운 발전을 보여줍니다.
Reference
[arxiv] AI Predicts AGI: Leveraging AGI Forecasting and Peer Review to Explore LLMs' Complex Reasoning Capabilities
Published: (Updated: )
Author: Fabrizio Davide, Pietro Torre, Andrea Gaggioli
http://arxiv.org/abs/2412.09385v1