AI의 상징적 수학 능력, 새로운 기준을 제시하다: ASyMOB 벤치마크

ASyMOB 벤치마크는 LLM의 상징적 수학 능력을 평가하는 새로운 기준을 제시하며, LLM의 일반화 능력 향상과 CAS와의 상호 보완적 활용 가능성을 제시합니다. 최첨단 모델의 성능 향상에도 불구하고, 심층적인 이해를 기반으로 한 추가적인 발전이 필요함을 강조합니다.

최근 급속도로 발전하는 대규모 언어 모델(LLM)은 이제 대학 수준의 상징적 수학 능력을 요구하는 첨단 과학기술 분야에도 적용될 가능성을 보이고 있습니다. 하지만 기존 벤치마크는 적분, 미분 방정식, 대수적 단순화와 같은 LLM의 핵심적인 상징적 수학 능력을 제대로 평가하지 못했습니다.

이러한 한계를 극복하기 위해, Michael Shalyt, Rotem Elimelech, Ido Kaminer 연구팀은 ASyMOB이라는 새로운 평가 프레임워크를 개발했습니다. ASyMOB은 유사성과 복잡성에 따라 구성된 17,092개의 고유한 수학 문제를 통해 LLM의 상징적 조작 능력을 집중적으로 평가합니다. ASyMOB은 단순한 숫자나 기호의 변화를 통해 LLM의 일반화 능력을 분석할 수 있도록 설계되었습니다.

평가 결과, 모든 LLM은 다양한 변화 유형에 대해 상당한 성능 저하(최대 -70.3%)를 보였습니다. 이는 고급 모델조차도 심층적인 이해보다는 암기된 패턴에 의존하고 있음을 시사합니다. 연구팀은 LLM의 성능을 컴퓨터 대수 시스템(CAS)과 비교하여 LLM이 성공하고 CAS가 실패하는 경우와 그 반대의 경우, 그리고 두 가지 방법을 결합해야만 해결 가능한 문제들을 확인했습니다.

특히, 코드 실행 기능이 통합된 모델은 코드 없이 실행된 모델보다 정확도가 높았으며, 특히 성능이 약한 모델의 안정성을 크게 향상시켰습니다(특정 변화 유형에서 최대 +33.1%). 주목할 만한 점은 o4-mini와 Gemini 2.5 Flash와 같은 최첨단 모델이 높은 상징적 수학 능력(변화가 없는 문제 세트에서 96.8%와 97.6%의 점수)뿐만 아니라 변화에 대한 놀라운 견고성(-21.7%와 -21.2% vs. 다른 모델의 평균 -50.4%)을 보였다는 것입니다. 이는 최첨단 LLM의 일반화 능력에서 최근의 "상전이"를 나타낼 수 있습니다.

향후 AI 발전 방향에 대해서는, 정교한 외부 도구와의 더욱 심층적인 통합 또는 상징적 수학 시스템(CAS)이 불필요할 정도로 능력 있는 모델 개발 중 어떤 방향이 더 효율적인지에 대한 추가 연구가 필요합니다. ASyMOB 벤치마크는 이러한 연구에 중요한 기반을 제공할 것으로 기대됩니다.