URSA: 다중 모달 수학 추론의 새로운 지평을 열다

루이린 로(Ruilin Luo) 등 연구진이 개발한 URSA 프레임워크는 다중 모달 수학 추론 분야에 혁신을 가져왔습니다. 고품질 데이터셋을 생성하고, URSA-8B 및 URSA-RM-8B 모델을 통해 최첨단 성능을 달성했습니다. 오픈소스 공개를 통해 학계와 산업계에 큰 영향을 미칠 것으로 예상됩니다.

최근 사고 연쇄(Chain-of-Thought, CoT) 추론은 대규모 언어 모델(LLM)의 수학적 추론 능력 향상에 널리 활용되고 있습니다. 특히, CoT 과정에 대한 감독을 도입하여 모델의 '시스템 2' 사고 능력을 향상시키려는 시도가 활발히 진행 중입니다. 하지만, 다중 모달 수학 추론 분야에서는 고품질 CoT 훈련 데이터의 부족으로 인해 심도있는 추론과 정밀한 검증을 동시에 달성하는 데 어려움을 겪어 왔습니다.

이러한 문제를 해결하기 위해, 루이린 로(Ruilin Luo) 등 연구진은 혁신적인 프레임워크 URSA를 제안했습니다. URSA는 시스템 2 스타일의 사고를 다중 모달 수학 추론에 도입하는 것을 목표로 합니다. 연구진은 CoT 증류, 경로 형식 재작성, 형식 통합을 통합한 3단계 CoT 데이터 합성 프로세스를 통해 MMathCoT-1M이라는 고품질 CoT 추론 지침 미세 조정 데이터셋을 생성했습니다. 뿐만 아니라, 시각적 근거 정확성과 연역적 사슬 유효성을 모두 목표로 하는 이중 관점 경로 라벨링 자동화를 구현하여 DualMath-1.1M 데이터셋을 만들었습니다.

MMathCoT-1M으로 훈련된 URSA-8B 모델은 6가지 인기 추론 벤치마크에서 동일한 규모의 다중 모달 LLM들 중 최고 성능을 달성했습니다. 더 나아가, DualMath-1.1M 데이터셋으로 추가 훈련된 URSA-RM-8B 모델은 URSA-8B의 테스트 성능을 향상시켰을 뿐만 아니라, GPT-4o와 같은 강력한 클로즈드 소스 다중 모달 LLM을 능가하는 결과를 보였습니다. 모델 가중치, 훈련 데이터 및 코드는 모두 오픈소스로 공개되어(https://github.com/URSA-MATH/URSA-MATH), 학계와 산업계에 큰 기여를 할 것으로 기대됩니다.

이 연구는 다중 모달 수학 추론 분야의 획기적인 발전을 보여주는 동시에, 오픈소스를 통한 연구 결과 공유가 가져오는 시너지 효과를 잘 보여주는 사례입니다. 앞으로 URSA 프레임워크를 기반으로 한 다양한 응용과 후속 연구들이 기대됩니다. 🎉