공식 수학 추론의 새로운 기준: FormalMATH 벤치마크 등장

FormalMATH 벤치마크는 AI의 공식 수학 추론 능력을 평가하는 새로운 기준을 제시하며, 최첨단 LLM 기반 정리 증명기의 한계와 향후 연구 방향을 제시합니다. 자동 공식화 파이프라인의 효율성과 도메인 편향, 자연어 풀이 과정의 역효과 등 흥미로운 결과들이 제시되었습니다.

최근, 인공지능(AI) 분야에서 주목할 만한 연구 결과가 발표되었습니다. Zhouliang Yu를 비롯한 13명의 연구진이 개발한 FormalMATH는 5,560개 이상의 공식적으로 검증된 수학 문제를 포함하는 대규모 벤치마크입니다. 고등학교 수학 올림피아드 문제부터 대학교 수준의 정리까지, 대수, 미적분, 정수론, 이산 수학 등 다양한 분야를 아우르는 방대한 규모를 자랑합니다. 이는 기존 벤치마크의 한계를 뛰어넘는 획기적인 시도로 평가받고 있습니다.

하지만 FormalMATH의 개발 과정은 결코 순탄치 않았습니다. 수동으로 공식화하는 것은 매우 비효율적이었기 때문에, 연구팀은 인간-컴퓨터 협업 자동 공식화 파이프라인을 개발했습니다. 이 파이프라인은 특수하게 설계된 대형 언어 모델(LLM)을 이용해 문제를 자동으로 공식화하고, 여러 LLM을 통해 의미를 검증하며, 기존 LLM 기반 증명기를 활용한 부정 기반 반증 필터링 전략을 사용합니다. 이를 통해 수동 검증 전 단계에서 72.09%의 문제가 자동으로 공식화되었고, 원래의 자연어 문제에 대한 충실도를 유지할 수 있었습니다. 이는 인간의 노력을 획기적으로 줄이는 동시에 정확성을 확보한 훌륭한 성과입니다.

그러나 FormalMATH을 이용한 최첨단 LLM 기반 정리 증명기의 평가 결과는 다소 충격적이었습니다. 실제 적용 가능한 샘플링 예산 하에서 가장 성능이 좋은 모델조차도 성공률이 16.46%에 불과했습니다. 더욱이 대수 분야에서는 뛰어난 성능을 보였지만 미적분 분야에서는 실패하는 등 뚜렷한 도메인 편향이 나타났습니다. 또한, 단순한 자동화 전략에 과도하게 의존하는 경향도 관찰되었습니다. 흥미로운 점은, 자연어로 작성된 풀이 과정의 안내가 오히려 증명 성공률을 낮추는 역효과를 보였다는 것입니다. 이는 인간이 작성한 비형식적인 추론 과정이 공식적인 추론 환경에서는 오히려 노이즈로 작용할 수 있다는 것을 시사합니다.

FormalMATH는 AI의 공식 수학 추론 능력의 한계를 명확히 보여주는 동시에, 앞으로 AI 연구의 방향을 제시하는 중요한 이정표가 될 것입니다. 이 연구 결과는 AI가 인간의 수학적 사고 능력을 완전히 모방하기에는 아직 갈 길이 멀다는 점을 시사하지만, 동시에 인간과 AI의 협력을 통해 더욱 강력한 AI 시스템을 구축할 가능성을 보여줍니다. 앞으로 FormalMATH를 기반으로 한 후속 연구를 통해 AI의 수학적 추론 능력이 어떻게 발전해 나갈지 주목할 필요가 있습니다.