MathFusion: LLM의 수학 문제 해결 능력을 혁신적으로 향상시키다

중국과학원 자동화연구소 연구팀이 개발한 MathFusion은 LLM의 수학적 추론 능력을 향상시키는 혁신적인 프레임워크입니다. 세 가지 융합 전략을 통해 생성된 MathFusionQA 데이터셋으로 모델을 미세 조정한 결과, 다양한 벤치마크에서 정확도가 18점 향상되었으며, 데이터 효율성 또한 뛰어났습니다. 데이터셋, 모델, 코드 모두 공개되어 AI 연구 발전에 크게 기여할 것으로 기대됩니다.

LLM의 수학적 한계를 뛰어넘다: MathFusion의 등장

최근 대규모 언어 모델(LLM)이 수학적 추론 능력에서 놀라운 발전을 보였지만, 여전히 한계는 존재합니다. 기존의 데이터 증강 기법은 문장 변형이나 단순한 추가에 그쳐, 수학적 지식의 내재적 관계 구조를 제대로 활용하지 못했습니다.

하지만 이제, MathFusion이 등장하여 이러한 한계를 극복합니다! 중국과학원 자동화연구소의 Pei Qizhi 박사 연구팀이 개발한 MathFusion은 인간의 학습 과정에서 영감을 얻어, 문제들 간의 연관성을 활용하여 LLM의 수학적 추론 능력을 향상시키는 혁신적인 프레임워크입니다.

MathFusion의 세 가지 핵심 전략

MathFusion은 세 가지 융합 전략을 통해 효율적인 학습 데이터를 생성합니다.

1. 순차 융합 (Sequential Fusion): 관련 문제들을 연결하여 해결 과정의 의존성을 모델링합니다. 마치 한 단계씩 수학 개념을 쌓아 올리는 것과 같습니다.
2. 병렬 융합 (Parallel Fusion): 유사한 문제들을 결합하여 개념 이해를 강화합니다. 다양한 각도에서 같은 개념을 접근하여 깊이 있는 이해를 도와줍니다.
3. 조건부 융합 (Conditional Fusion): 상황에 맞는 문제들을 선택적으로 생성하여 추론의 유연성을 높입니다. 다양한 상황에 적용 가능한 문제 해결 능력을 길러줍니다.

이러한 전략을 통해 생성된 새로운 데이터셋 MathFusionQA를 사용하여 DeepSeekMath-7B, Mistral-7B, Llama3-8B 모델을 미세 조정한 결과, 다양한 벤치마크에서 정확도가 18점이나 향상되었다는 놀라운 결과를 얻었습니다. 특히, 단 45,000개의 추가적인 합성 지시문만으로 이러한 성과를 달성하여 데이터 효율성 또한 뛰어나다는 것을 입증했습니다.

열린 연구, 공유의 가치

연구팀은 MathFusionQA 데이터셋, 미세 조정된 모델, 그리고 코드를 모두 공개하여(https://github.com/QizhiPei/mathfusion) 다른 연구자들의 연구를 지원하고, MathFusion의 발전을 도모하고 있습니다. 이는 AI 연구의 발전에 기여하는 중요한 발걸음이 될 것입니다.

MathFusion은 LLM의 수학 문제 해결 능력 향상에 새로운 지평을 열었습니다. 앞으로 LLM이 수학 및 과학 분야에서 더욱 복잡하고 다양한 문제를 해결하는 데 중요한 역할을 할 것으로 기대됩니다.