슈퍼인텔리전스를 향한 여정: LLM의 한계와 새로운 평가 기준 SuperARC

본 연구는 기존 LLM의 한계를 지적하고, 알고리즘 확률 이론 기반의 새로운 지능 평가 기준 SuperARC를 제시합니다. SuperARC를 이용한 실험 결과 LLM이 AGI 또는 ASI에 도달하지 못했음을 확인하고, 뉴로심볼릭 접근 방식의 우수성을 보여줍니다.

최근 급격한 발전을 거듭하고 있는 대규모 언어 모델(LLM)은 인공지능(AI) 분야의 새로운 지평을 열었습니다. 하지만 과연 LLM이 인간 수준의 지능, 나아가 초지능(ASI)에 도달할 수 있을까요? Alberto Hernández-Espinosa를 비롯한 연구팀이 발표한 논문 "SuperARC: A Test for General and Super Intelligence"는 이 질문에 대한 흥미로운 해답을 제시합니다.

이 연구는 기존의 AI 지능 평가 방식의 한계를 극복하기 위해 알고리즘 확률 이론과 알고리즘 복잡도라는 탄탄한 이론적 기반 위에 새로운 평가 기준인 SuperARC를 제안합니다. SuperARC는 기존의 압축 알고리즘 기반 평가 방식과 달리, 콜모고로프 복잡도에 더욱 근접한 접근 방식을 취하여 벤치마크 오염 문제를 해결하고자 합니다. 이는 단순한 데이터 압축 능력이 아닌, 역문제 해결(관찰로부터 새로운 지식 생성)과 같은 본질적인 지능의 측면을 평가하는 데 초점을 맞춥니다.

연구팀은 SuperARC를 이용하여 여러 버전의 LLM을 평가한 결과, LLM이 특정 지능 수준, 특히 AGI 또는 ASI에 도달하지 못했다는 사실을 발견했습니다. LLM은 학습 데이터의 크기에 크게 의존하며, 새로운 버전이 이전 버전보다 성능이 떨어지는 등, 취약하고 점진적인 발전을 보이는 것으로 나타났습니다. 이는 LLM이 인간 언어에 대한 숙련도에 최적화된 시스템일 뿐, 진정한 의미의 지능을 갖추지는 못했음을 시사합니다.

반면, 알고리즘 확률과 콜모고로프 복잡도 원리를 기반으로 모델 수렴을 보장하는 뉴로심볼릭 접근 방식은 LLM보다 우수한 성능을 보였습니다. 이 결과는 LLM의 근본적인 한계를 보여주는 동시에, 더욱 발전된 인공지능 개발을 위한 새로운 방향을 제시합니다.

결론적으로, 이 연구는 LLM의 발전에 대한 낙관적인 전망에 경종을 울리는 동시에, 진정한 AGI와 ASI를 향한 여정에는 더욱 심오한 이해와 새로운 접근 방식이 필요함을 강조합니다. SuperARC와 같은 혁신적인 평가 기준은 이러한 여정을 안내하는 중요한 이정표가 될 것입니다. 향후 연구를 통해 LLM의 한계를 극복하고 인간 수준을 넘어서는 AI의 개발을 위한 더욱 구체적인 전략이 모색되어야 할 것입니다.