60만 개 수학 문제로 무장한 AI: 올림피아드급 문제 풀이 LLM의 진화

본 연구는 올림피아드 수준의 수학 문제 해결 능력 향상을 위한 LLM 훈련 및 평가 방법을 제시합니다. AoPS 포럼 데이터를 활용하여 AoPS-Instruct 데이터셋을 구축하고, 시간 경과에 따른 LLM 성능 변화를 추적하는 LiveAoPSBench를 개발했습니다. 연구 결과는 LLM의 성능 향상과 함께, 진정한 추론 능력 평가의 어려움을 보여줍니다.

60만 개 수학 문제로 무장한 AI: 올림피아드급 문제 풀이 LLM의 진화

최근 급격한 발전을 이룬 대규모 언어 모델(LLM)이 올림피아드 수준의 수학 문제까지 해결하는 능력을 보이면서 학계의 주목을 받고 있습니다. 하지만, 이러한 모델의 훈련과 평가는 고품질 데이터셋의 부족으로 어려움을 겪어왔습니다. 고난도 수학 문제에 대한 대규모 데이터셋을 구축하는 것은 전문가의 막대한 노력을 필요로 하는 작업이기 때문입니다.

Sadegh Mahdavi를 비롯한 연구팀은 이러한 문제를 해결하기 위해 Art of Problem Solving (AoPS) 포럼이라는 풍부한 자료를 활용하는 자동화 파이프라인을 개발했습니다. AoPS 포럼은 주로 올림피아드 수준의 문제와 커뮤니티 기반 솔루션을 제공하는 곳입니다. 연구팀은 오픈소스 LLM을 활용하여 포럼에서 질문과 답변 쌍을 추출하는 방법을 개발하여 AoPS-Instruct라는 60만 개 이상의 고품질 QA 쌍으로 구성된 데이터셋을 만들었습니다.

놀라운 점은, AoPS-Instruct로 LLM을 미세 조정한 결과, 다양한 벤치마크에서 추론 능력이 향상되었다는 것입니다. 이는 단순히 데이터의 양뿐 아니라, 질적인 측면에서도 뛰어난 데이터셋의 효과를 보여줍니다.

하지만 연구팀은 여기서 그치지 않았습니다. 기존 벤치마크의 오염 문제를 해결하기 위해, LiveAoPSBench라는 새로운 평가 기준을 개발했습니다. LiveAoPSBench는 AoPS 포럼의 최신 데이터를 기반으로 지속적으로 업데이트되는 평가 집합으로, 시간 경과에 따른 LLM 성능 변화를 추적할 수 있게 해줍니다. 흥미롭게도, 연구팀은 시간이 지남에 따라 LLM의 성능이 크게 저하되는 것을 관찰했습니다. 이는 이전 문제에 대한 성공이 진정한 추론 능력 때문이 아니라, 사전 훈련 데이터 노출에 기인할 가능성을 시사합니다.

이 연구는 고급 수학 추론을 위한 대규모 고품질 데이터셋을 만들고 유지 관리하는 확장 가능한 방법을 제시합니다. 또한, 이 분야에서 LLM의 능력과 한계에 대한 귀중한 통찰력을 제공하며, LLM의 발전 방향에 중요한 이정표를 제시합니다. (GitHub: https://github.com/DSL-Lab/aops)