MATH-Perturb: LLM의 수학적 추론 능력, 진정한 이해인가, 암기인가?

카이슈안 황 등 18명의 연구진이 개발한 MATH-Perturb 벤치마크는 LLM의 수학적 추론 능력을 단순 변형뿐 아니라 문제의 본질을 바꾸는 어려운 변형까지 고려하여 평가합니다. 다양한 LLM에서 성능 저하가 관찰되었고, LLM이 문제 해결 능력을 암기하여 상황에 맞지 않게 적용하는 새로운 형태의 암기 현상도 발견되었습니다. 이 연구는 더욱 강력하고 신뢰할 수 있는 추론 모델 개발의 필요성을 강조합니다.

LLM의 수학적 추론 능력: 암기 vs. 진정한 이해

최근 대규모 언어 모델(LLM)이 복잡한 수학 문제 해결에서 놀라운 성능을 보여주고 있습니다. 하지만 이러한 성능이 진정한 추론 능력에서 비롯되는지, 아니면 단순한 암기의 결과인지에 대한 논쟁이 끊이지 않고 있습니다.

이러한 의문에 답하기 위해, 카이슈안 황(Kaixuan Huang)을 비롯한 18명의 연구자들은 새로운 벤치마크인 MATH-Perturb를 개발했습니다. 기존 연구들이 단순한 변형(simple perturbation)을 통해 LLM을 평가했다면, MATH-Perturb는 문제의 본질을 근본적으로 바꾸는 어려운 변형(hard perturbation) 을 도입하여 LLM의 추론 능력을 더욱 엄격하게 평가합니다.

MATH-Perturb는 MATH 데이터셋(Hendrycksmath et al., 2021)의 가장 어려운 레벨 5 문제 279개를 기반으로, 단순 변형(MATH-P-Simple)과 어려운 변형(MATH-P-Hard) 두 가지 버전으로 구성됩니다. 연구 결과, o1-mini(-16.49%)와 gemini-2.0-flash-thinking(-12.9%)을 포함한 여러 LLM에서 MATH-P-Hard에서 상당한 성능 저하가 나타났습니다.

흥미로운 점은, 연구팀이 새로운 형태의 암기를 발견했다는 것입니다. LLM이 문제 해결 능력을 암기하여 상황에 맞지 않더라도 무작정 적용하는 현상이 나타났습니다. 특히, 원래 문제를 활용한 컨텍스트 학습에서 이러한 현상이 더욱 심화되는 것으로 나타났습니다.

이 연구는 LLM의 수학적 추론 능력에 대한 새로운 시각을 제공합니다. 단순히 문제를 풀 수 있는 능력뿐 아니라, 문제의 본질을 이해하고 변형된 상황에도 적용할 수 있는 진정한 추론 능력의 중요성을 강조하고 있습니다. 더욱 강력하고 신뢰할 수 있는 추론 모델을 개발하기 위해서는 이러한 문제에 대한 지속적인 연구가 필수적입니다.

결론적으로, MATH-Perturb는 LLM의 수학적 추론 능력 평가에 있어 새로운 기준을 제시하며, LLM의 진정한 이해와 암기를 구분하는 중요한 도구로 자리매김할 것으로 기대됩니다.