혁신적인 AI: 형식 증명의 새로운 지평을 열다

본 연구는 AI 기반 형식 수학 추론 분야의 발전에 기여하는 중요한 연구입니다. 형식 검증을 6개의 하위 작업으로 분해하여 LLM의 성능을 평가하고, 미세 조정을 통해 성능 향상을 이끌어냈습니다. 특히 형식 데이터 기반 미세 조정이 수학적 추론, 논리적 사고, 코딩 능력 향상에도 기여한다는 점은 주목할 만합니다.

AI가 수학 문제를 푼다면? 형식 증명의 미래

인공지능(AI) 분야에서 가장 흥미로운 발전 중 하나는 바로 형식 수학 추론입니다. AI가 국제수학올림피아드(IMO) 수준의 문제를 풀어내는 수준까지 도달했다는 사실은 놀라움을 금치 못하게 합니다. 하지만 기존 연구는 문제 해결, 추론, 형식 명세 작성 등 다양한 기술을 동시에 평가하여 AI의 각 영역별 능력을 정확히 파악하는 데 어려움이 있었습니다.

중국과학원 소속 연구팀(Jialun Cao, Yaojie Lu 외)은 이러한 한계를 극복하기 위해 새로운 연구를 진행했습니다. 본 논문, “비형식에서 형식으로: 자연어 요구사항에 대한 대규모 언어 모델 통합 및 평가를 통해 검증 가능한 형식 증명으로” 에서는 형식 검증이라는 실질적인 응용 시나리오에 집중하여, 이를 6가지 하위 작업으로 분해하여 분석했습니다.

연구팀은 Coq, Lean4, Dafny, ACSL, TLA+ 등 5가지 주요 형식 사양 언어를 사용하여 18,000개 이상의 고품질 지시-응답 쌍을 GPT-4를 활용하여 생성했습니다. 이 데이터셋을 기반으로, 14,000개 이상의 데이터로 구성된 미세 조정 데이터셋(FM-alpaca) 과 4,000개의 데이터로 구성된 벤치마크(FM-Bench) 를 구축했습니다.

실험 결과는 놀라웠습니다. LLM은 코드 또는 상세한 증명 단계가 주어졌을 때 증명 부분을 효과적으로 작성하는 능력을 보였습니다. 특히, 미세 조정을 통해 LLM의 성능이 최대 3배까지 향상되었다는 점은 주목할 만합니다. 더욱 흥미로운 점은 형식 데이터를 사용한 미세 조정이 수학적 추론, 논리적 사고, 코딩 능력까지 향상시켰다는 것입니다.

본 연구는 AI 기반 형식 추론의 발전에 중요한 기여를 할 뿐만 아니라, 향후 연구를 위한 미세 조정된 모델을 공개하여 학계의 발전에 기여하고 있습니다. 이 연구는 단순한 기술적 진보를 넘어, AI가 인간의 고차원적인 사고 능력을 어떻게 획득하고 활용할 수 있는지에 대한 중요한 통찰력을 제공합니다. AI의 가능성은 이제 우리의 상상 이상으로 확장되고 있습니다.