혁신적인 자기 학습 정리 증명기 STP: 인공지능이 수학의 영역을 넘어서다

동 케판과 마 텅유 연구팀이 개발한 자체 학습 정리 증명기(STP)는 수학자들의 연구 방식에서 영감을 얻어 LLM 기반 정리 증명의 한계를 극복했습니다. 추측자와 증명자의 상호 작용을 통해 지속적인 성능 향상을 이루었으며, 다양한 벤치마크에서 최첨단 성능을 기록했습니다. 이는 AI와 수학의 융합이 가져올 엄청난 잠재력을 보여주는 중요한 연구 결과입니다.

인공지능(AI)의 발전은 우리의 상상을 초월하는 속도로 이루어지고 있습니다. 특히, 최근 대규모 언어 모델(LLM)을 활용한 형식적 정리 증명 분야는 놀라운 발전을 거듭하고 있습니다. 하지만, 고품질 훈련 데이터의 부족은 이 분야의 발전에 큰 걸림돌이 되어 왔습니다. 강화 학습이나 전문가 반복 학습 등의 기존 방식은 정확한 증명 데이터의 부족으로 인해 성능 향상에 한계를 보였습니다.

동 케판과 마 텅유 연구팀은 이러한 문제를 해결하기 위해 수학자들의 연구 방식에서 영감을 얻었습니다. 수학자들은 새로운 정리를 제안하고 증명하는 과정을 반복하며 수학적 지식을 발전시킵니다. 이러한 통찰을 바탕으로 연구팀은 자체 학습 정리 증명기(Self-play Theorem Prover, STP) 를 개발했습니다.

STP: 추측자와 증명자의 조화

STP는 '추측자'와 '증명자'라는 두 가지 역할을 동시에 수행하는 독특한 구조를 가지고 있습니다. 추측자는 현재 증명자가 겨우 증명할 수 있을 정도의 난이도를 가진 새로운 정리를 지속적으로 생성합니다. 증명자는 표준적인 전문가 반복 학습 방식을 통해 이러한 정리들을 증명하려고 시도합니다. 두 역할은 서로에게 지속적인 학습 신호를 제공하며, 상호 작용을 통해 성능을 향상시킵니다. 이는 마치 수학자들이 서로의 아이디어를 검증하고 발전시키는 과정과 유사합니다.

놀라운 성과: 기존 기술의 한계 극복

Lean과 Isabelle이라는 두 가지 형식 검증기를 사용한 실험 결과는 놀라웠습니다. Lean을 이용한 훈련 과정에서 198억 개의 토큰을 생성한 결과, STP는 LeanWorkbook 데이터셋의 26.3%에 달하는 정리를 증명하는 데 성공했습니다. 이는 기존 최고 기록인 13.2%의 두 배에 해당하는 획기적인 성과입니다. 뿐만 아니라, miniF2F-test(61.1%, pass@3200), Proofnet-test(23.1%, pass@3200), PutnamBench(8/644, pass@64) 등 다양한 벤치마크에서 최첨단 성능을 달성했습니다.

미래를 향한 도약: AI와 수학의 융합

STP의 성공은 단순히 정리 증명 분야의 발전을 넘어, AI와 수학의 융합이 가져올 엄청난 잠재력을 보여줍니다. 앞으로 STP는 수학적 발견과 증명 과정의 자동화에 크게 기여할 것으로 기대되며, 다양한 분야에서 복잡한 문제 해결에 활용될 수 있을 것입니다. 이 연구는 AI가 인간의 지능을 뛰어넘는 수준으로 발전할 수 있음을 보여주는 또 하나의 획기적인 사례입니다.