Goedel-Prover: 수학 증명의 새로운 지평을 연 오픈소스 LLM

Goedel-Prover는 오픈소스 LLM로, 수학 문제에 대한 자동화된 형식 증명 생성 분야에서 최첨단 성능을 달성했습니다. 164만 개의 형식적 명제 데이터셋과 이터레이티브 학습 방식을 통해 miniF2F 및 PutnamBench 벤치마크에서 최고 기록을 경신했으며, Lean Workbook 문제에 대해서도 압도적인 성과를 보였습니다.

인공지능(AI) 분야에서 획기적인 발전이 있었습니다! Yong Lin 등 11명의 연구진이 개발한 Goedel-Prover는 오픈소스 대규모 언어 모델(LLM)로, 수학 문제에 대한 자동화된 형식 증명 생성 분야에서 최첨단(SOTA) 성능을 달성했습니다. 이는 수학계에 혁신적인 변화를 가져올 잠재력을 지닌 성과입니다.

데이터 부족의 난관을 극복하다

이 분야의 주요 과제는 형식화된 수학 명제와 증명의 부족이었습니다. Goedel-Prover 연구진은 이 문제에 대한 독창적인 해결책을 제시했습니다. 바로, Numina에서 자연어로 작성된 수학 문제를 Lean 4라는 형식 언어로 변환하는 명제 형식화기를 훈련하고, 무려 164만 개에 달하는 방대한 형식적 명제 데이터셋을 구축한 것입니다. 여기서 그치지 않고, LLM을 활용하여 형식화된 명제가 원래의 자연어 문제의 내용을 정확하게 보존했는지 꼼꼼하게 검증하는 과정을 거쳤습니다.

이터레이티브 학습: 한계를 뛰어넘다

연구진은 이터레이티브(반복적) 접근 방식을 통해 형식적 증명 데이터셋을 구축했습니다. 즉, 일련의 증명기를 훈련시키면서 이전 증명기가 증명하지 못했던 명제들을 새로운 증명기가 증명하도록 하고, 이렇게 새롭게 생성된 증명들을 다음 증명기의 훈련 데이터셋에 추가하는 방식입니다. 이러한 반복적인 과정을 통해 Goedel-Prover는 이전 오픈소스 모델들을 압도하는 성능을 달성할 수 있었습니다.

놀라운 성과: 벤치마크에서 최고 기록 경신

Goedel-Prover의 성능은 벤치마크 결과에서 명확하게 드러납니다. miniF2F 벤치마크에서 **57.6%**의 성공률(Pass@32)을 달성하여, 이전 최고 오픈소스 모델보다 **7.6%**나 높은 성과를 기록했습니다. PutnamBench에서는 무려 7개의 문제를 해결하여 1위를 차지했습니다 (Pass@512). 또한, Lean Workbook 문제에 대해 29.7K개의 형식적 증명을 생성했는데, 이는 기존 연구의 15.7K에 비해 거의 두 배에 달하는 엄청난 양입니다.

미래를 향한 발걸음

Goedel-Prover의 등장은 수학 증명 자동화 분야에 새로운 이정표를 세웠습니다. 오픈소스로 공개된 만큼, 앞으로 더 많은 연구자들이 이 모델을 활용하여 수학 연구의 새로운 지평을 열어갈 것으로 기대됩니다. 이는 수학적 발견의 속도를 가속화하고, 복잡한 수학 문제 해결에 혁신적인 도약을 가져다줄 수 있습니다. 하지만, Goedel-Prover의 한계와 향후 개선 방향에 대한 꾸준한 연구와 논의가 필요할 것입니다.