MATH-Perturb: 난해한 변형에 대한 거대 언어 모델의 수학적 추론 능력 벤치마킹

Kaixuan Huang 등 18명의 연구진이 발표한 MATH-Perturb 연구는 거대 언어 모델(LLM)의 수학적 추론 능력을 평가하기 위한 새로운 벤치마크를 제시합니다. 단순 변형과 난해한 변형을 통해 LLM의 한계를 드러내고, 암기 기반 문제 해결의 위험성을 강조하며, 더욱 견고한 추론 모델 개발의 필요성을 역설합니다.

최근 거대 언어 모델(LLM)이 어려운 수학적 추론 과제에서 놀라운 성능을 보여주면서, 이러한 성능이 진정한 추론 능력에서 비롯되는지 아니면 단순한 암기 때문인지에 대한 논의가 활발하게 이루어지고 있습니다. Kaixuan Huang 등 18명의 연구원은 이러한 의문에 답하기 위해, 기존 연구에서 다루었던 단순한 변형(Simple Perturbation)뿐 아니라, 문제의 본질을 근본적으로 바꾸어 기존의 해결 방법이 적용되지 않는 난해한 변형(Hard Perturbation)을 고려한 새로운 벤치마킹 기준을 제시했습니다.

그들의 연구, "MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations" 에서는 MATH 데이터셋(Hendrycksmath et al., 2021)의 가장 어려운 레벨 5 문제 279개를 기반으로, 단순 변형과 난해한 변형을 각각 적용하여 MATH-P-Simple 및 MATH-P-Hard 벤치마크를 구성했습니다.

흥미롭게도, 연구 결과 o1-mini(-16.49%)와 gemini-2.0-flash-thinking(-12.9%)을 포함한 다양한 모델에서 MATH-P-Hard에 대한 성능 저하가 크게 나타났습니다. 이는 단순히 문제를 암기하여 풀이하는 모델의 한계를 보여주는 결과입니다. 특히, 기존 문제를 활용한 인-컨텍스트 학습(in-context learning)을 사용할 경우 이러한 암기 현상이 더욱 심화될 수 있다는 우려도 제기되었습니다.

연구진은 모델이 수정된 상황에 대한 적용 가능성을 평가하지 않고 학습된 문제 해결 기술을 무작정 적용하는 새로운 형태의 암기 문제를 지적하며, 보다 강력하고 신뢰할 수 있는 추론 모델 개발을 위해 이러한 과제에 대한 연구 노력이 필요하다고 강조했습니다. 이 연구는 LLM의 수학적 추론 능력에 대한 깊이 있는 이해와 더 나아가 인공지능의 발전 방향을 제시하는 중요한 이정표가 될 것으로 기대됩니다.