Goedel-Prover: 수학 문제 해결의 새로운 지평을 연 오픈소스 AI

Goedel-Prover는 오픈소스 LLM로, 수학 문제에 대한 형식적 증명 생성에서 최첨단 성능을 달성했습니다. 164만 개의 형식적 명제 데이터셋을 구축하고 지도 학습 방식만으로 기존 모델을 능가하는 성과를 거두었습니다. miniF2F와 PutnamBench 벤치마크에서 우수한 성능을 보였으며, 향후 수학 연구 및 교육에 크게 기여할 것으로 기대됩니다.

Goedel-Prover: 수학 문제 해결의 혁신

최근, 인공지능(AI) 분야에서 획기적인 발전이 이루어졌습니다. Yong Lin을 비롯한 11명의 연구진이 개발한 Goedel-Prover가 바로 그 주인공입니다. Goedel-Prover는 오픈소스 대규모 언어 모델(LLM)로, 수학 문제에 대한 자동화된 형식적 증명 생성에서 최첨단(SOTA) 성능을 달성했습니다. 이는 AI가 복잡한 수학적 추론을 처리하는 능력을 한 단계 끌어올린 쾌거라 할 수 있습니다.

난제 극복: 데이터의 힘

자동 정리 증명 분야의 가장 큰 난관은 바로 형식화된 수학 명제와 증명의 부족입니다. 연구진은 이 문제를 해결하기 위해 Numina에서 자연어로 된 수학 문제를 Lean 4라는 형식 언어로 변환하는 명제 형식화 프로그램을 개발했습니다. 이를 통해 무려 164만 개의 형식적 명제 데이터셋을 구축한 것입니다. LLM을 활용하여 형식적 명제가 원래 자연어 문제의 내용을 정확하게 보존하는지 확인하는 과정 또한 거쳤습니다.

반복적 학습: 증명의 연쇄

연구진은 일련의 증명기를 훈련시켜 대규모 형식적 증명 데이터셋을 반복적으로 구축했습니다. 각 증명기는 이전 증명기가 증명하지 못한 많은 명제를 증명하는 데 성공했고, 이 새로운 증명들은 다음 증명기의 훈련 세트에 추가되었습니다. 흥미로운 점은 오직 지도 학습 방식만을 사용했다는 점입니다. 강화 학습을 사용한 DeepSeek-Prover-V1.5와는 대조적입니다.

성능 비교: 놀라운 결과

Goedel-Prover의 성능은 실로 놀랍습니다. miniF2F 벤치마크에서 57.6%(Pass@32)의 성공률을 달성하여 DeepSeek-Prover-V1.5보다 7.6% 앞섰습니다. PutnamBench에서는 7개의 문제를 성공적으로 해결하여(Pass@512) 리더보드 1위를 차지했습니다. 더 나아가 Lean Workbook 문제에 대한 29,700개의 형식적 증명을 생성하여 이전 연구 결과(15,700개)의 거의 두 배에 달하는 성과를 보였습니다.

결론: 미래를 향한 도약

Goedel-Prover는 수학적 증명 자동화 분야에 혁신적인 발전을 가져왔습니다. 오픈소스로 공개된 이 모델은 향후 수학 연구 및 교육에 크게 기여할 것으로 기대됩니다. 이는 단순히 기술의 발전을 넘어, 인간의 지적 능력을 확장하고 새로운 지식 창출의 가능성을 열어젖히는 획기적인 사건입니다. 앞으로 Goedel-Prover가 어떻게 발전하고 활용될지, 그리고 AI가 수학 분야를 어떻게 더욱 변화시킬지 기대됩니다.