OpenAI의 o3, AGI의 길목에서: 지능의 새로운 이해와 벤치마크의 필요성
OpenAI의 o3 모델의 ARC-AGI 벤치마크 고득점에도 불구하고, 진정한 AGI 달성을 위해서는 사전 정의된 연산에 의존하지 않는 새로운 지능 평가 척도 및 문제 해결 방식이 필요하다는 연구 결과가 발표되었습니다. 물리적 세계 및 인간 영역의 복잡한 문제 해결을 위한 새로운 벤치마크 개발의 중요성을 강조합니다.

최근 OpenAI의 o3 모델이 ARC-AGI 벤치마크에서 87.5%라는 놀라운 점수를 기록하며 학계의 이목을 집중시켰습니다. 이는 대규모 언어 모델(LLM) 기반 시스템이 인간의 지능에 얼마나 근접했는지, 그리고 진정한 인공 일반 지능(AGI)으로 나아가는 발걸음을 의미하는 것일까요?
Rolf Pfister와 Hansueli Jud는 공동 연구 논문을 통해 이러한 의문에 대한 흥미로운 해석을 제시합니다. 논문에서는 프랑수아 쇼레(François Chollet, ARC-AGI 개발자)의 '기술'과 '지능'에 대한 구분을 바탕으로 지능에 대한 새로운 정의를 내립니다. 즉, 다양한 세계에서 더욱 다양한 목표를 달성하는 데 필요한 지식이 적을수록, 그 에이전트는 더욱 지능적이다라는 것입니다.
연구진은 ARC-AGI 벤치마크 자체의 한계를 짚습니다. ARC-AGI의 과제들은 사전 정의된 연산들의 조합을 시행착오를 통해 찾아내는 방식으로 해결 가능한, 매우 특수한 유형의 문제들로 구성되어 있다는 것입니다. o3는 막대한 컴퓨팅 파워를 활용하여 이러한 방식으로 높은 점수를 얻었지만, 이는 물리적 세계 또는 인간의 영역에서 발생하는 대부분의 문제 해결 방식과는 거리가 멉니다.
실제 세계의 문제들은 사전에 해결 방안을 시험해 볼 수 없고, 사전 정의된 연산도 존재하지 않는 경우가 대부분입니다. 따라서 o3가 사용하는 방식은 AGI를 위한 기반이 될 수 없다는 것이 연구진의 결론입니다. 진정한 AGI를 향한 발걸음을 위해서는 기존 기술에 의존하지 않고 다양한 문제를 효율적으로 해결할 수 있는 새로운 접근 방식이 필요합니다.
연구진은 이러한 새로운 접근 방식을 평가하기 위한 새로운 벤치마크의 필요성을 강조합니다. 이 벤치마크는 더욱 높은 수준의 다양성과 불확실성을 지닌 미지의 과제들을 포함하여, 지능과 AGI로 향하는 진정한 진보를 포괄적으로 평가할 수 있도록 설계되어야 합니다. o3의 놀라운 성과는 AGI 개발에 대한 새로운 가능성을 제시했지만, 동시에 우리가 진정한 지능에 대해 얼마나 많이 알고 있는지, 그리고 얼마나 더 멀리 가야 하는지에 대한 중요한 질문을 던져주는 계기가 되었습니다. 앞으로 더욱 혁신적인 연구와 새로운 벤치마크의 등장이 기다려집니다.
Reference
[arxiv] Understanding and Benchmarking Artificial Intelligence: OpenAI's o3 Is Not AGI
Published: (Updated: )
Author: Rolf Pfister, Hansueli Jud
http://arxiv.org/abs/2501.07458v1