숫자의 세계에서 길을 잃은 거대 언어 모델들: 수리 추론 능력의 한계와 미래

Roussel Rahman의 연구는 'Numberland' 테스트를 통해 LLM의 수리 추론 능력을 평가했습니다. 결정적 단계 문제에서는 높은 정확도를 보였으나, 시행착오가 필요한 문제에서는 정확도가 급격히 떨어져 LLM의 수리적 추론 능력의 취약성을 드러냈습니다. 이를 통해 LLM의 안전한 사용을 위한 추가 연구의 필요성이 강조됩니다.

인간의 수학적 추론 능력의 핵심에는 '수 감각'이 있습니다. 이는 숫자와 그 관계에 대한 추상적인 이해로, 제한된 계산 자원으로도 방대한 숫자 공간의 문제를 해결할 수 있게 해줍니다. 하지만, 거대 언어 모델(LLM)의 수학적 추론 능력은 종종 고난도 문제(올림피아드 문제, 기하학, 응용문제, 퍼즐 등)를 중심으로 평가되어 왔습니다. 그 기저에 깔린 기본적인 수 감각은 상대적으로 덜 주목받았죠.

Roussel Rahman의 연구는 이러한 점에 주목하여 'Numberland'라는 100문제 테스트를 개발했습니다. 이 테스트는 기본적인 연산부터 지수, 복소수와 같은 고급 계산, 소수 판별, 24 게임 등 다양한 유형의 문제를 통해 LLM의 기본적인 수리 능력과 이들의 통합적인 문제 해결 능력을 평가하고자 했습니다.

OpenAI의 o1과 o1-mini, Google Gemini, Microsoft Copilot, Anthropic Claude 등 5개의 LLM 기반 에이전트가 실험 대상이 되었는데, 결과는 흥미로웠습니다. 결정적인 단계를 통해 해결 가능한 처음 세 가지 유형의 문제에서는 7495%의 높은 정확도를 기록했습니다. 하지만 시행착오를 필요로 하는 24 게임에서는 정확도가 1073%로 급격히 떨어졌습니다. 특히, 73%의 정확도를 기록한 최고 성능의 24 게임 해결 에이전트(o1)에게 더 어려운 문제 25개를 제시했을 때, 정확도는 27%까지 떨어졌습니다. 이는 시행착오 기반의 탐색 과정이 LLM의 수리 추론 능력의 병목 현상임을 시사합니다.

이러한 결과와 함께 나타난 오류 유형들은 LLM의 수 감각이 생각보다 취약함을 보여줍니다. 이는 복잡한 벤치마크에서 보여주는 LLM의 뛰어난 성능과 대조되는 부분입니다. 연구진은 LLM의 수리 추론 능력의 한계를 지적하며, LLM의 수학적 능력을 평가하고 설명하기 위한 간단하고 집중적인 테스트의 중요성과 안전한 사용을 위한 추가 연구의 필요성을 강조합니다. 결국, LLM의 수리적 능력 향상을 위해서는 단순한 계산 능력뿐 아니라, 추론과 문제 해결 전략에 대한 심도 있는 연구가 필요하다는 것을 시사합니다.

결론: LLM의 수리 추론 능력은 아직 갈 길이 멀다는 것을 보여주는 연구 결과입니다. 단순한 문제 해결 능력뿐 아니라, 복잡한 문제 상황에서의 추론 능력과 효율적인 문제 해결 전략의 개발이 앞으로의 연구 방향을 제시합니다.