MAPS: 전문가 수준의 물리 과학에서 다중 모달 추론 발전시키다
중국과학원 자동화연구소 연구진이 개발한 MAPS 프레임워크는 다중 모달 대형 언어 모델(MLLM)의 물리 과학 분야 추론 능력을 크게 향상시켰습니다. 물리적 인지 모델(PPM)과 시뮬레이션 기반 추론을 결합한 MAPS는 대학 수준의 회로 분석 문제에서 기존 모델들을 능가하는 성능을 보이며, AI 기반 과학적 추론의 새로운 가능성을 열었습니다.

전문가 수준의 물리 과학 문제 해결, 이제 AI가 풀어낸다!
최근 텍스트와 이미지 데이터를 기반으로 학습된 다중 모달 대형 언어 모델(MLLM)이 일반적인 시각적 추론 작업에서 뛰어난 성능을 보이고 있습니다. 하지만 복잡한 물리적 구조를 지닌 다이어그램을 이해하고 다중 모달 정보를 기반으로 정량적 분석을 수행해야 하는 물리 과학 분야에서는 여전히 부족한 모습을 보여주고 있습니다.
MAPS: 물리적 직관과 시뮬레이션의 만남
이러한 한계를 극복하기 위해 중국과학원 자동화연구소 연구진은 MAPS(Multi-Modal Scientific Reasoning with Physics Perception and Simulation) 라는 새로운 프레임워크를 개발했습니다. MAPS는 전문가 수준의 다중 모달 추론 작업을 물리적 인지 모델(PPM) 을 통한 다이어그램 이해와 시뮬레이터를 통한 물리적 지식 기반 추론으로 분해하는 독창적인 접근 방식을 취합니다.
핵심은 바로 PPM입니다. 연구진은 신중하게 설계된 합성 데이터(물리적 다이어그램과 해당 시뮬레이션 언어 설명의 쌍)를 사용하여 시각 언어 모델을 미세 조정하여 PPM을 구축했습니다. 추론 단계에서는 PPM이 제공하는 입력 다이어그램의 시뮬레이션 언어 설명과 MLLM을 사용한 Chain-of-Simulation 과정의 결과를 통합하여 기본적인 추론 과정과 최종 답변을 도출합니다.
대학 수준 회로 분석 문제에서 놀라운 성능 입증!
대학 수준의 회로 분석 문제를 사용한 검증 결과, MAPS는 MLLM의 추론 정확도를 크게 향상시켰으며 기존 모든 모델을 능가하는 성능을 보였습니다. 이는 MAPS가 MLLM의 다중 모달 과학적 추론 능력을 향상시키는 유망한 방향을 제시함을 의미합니다. 연구팀은 논문 발표와 함께 코드, 모델 및 실험에 사용된 데이터셋을 공개할 예정입니다.
미래 전망: 더욱 발전된 과학적 추론의 가능성
MAPS의 성공은 AI가 복잡한 물리적 현상을 이해하고 해석하는 능력을 한층 높였다는 것을 시사합니다. 이는 앞으로 과학 연구, 공학 설계, 교육 등 다양한 분야에서 AI의 활용 가능성을 넓히는 중요한 발걸음입니다. 물리학뿐 아니라 다른 과학 분야로의 확장도 기대되는 부분이며, 더욱 정교한 시뮬레이션 기술과 데이터셋 구축을 통해 AI의 과학적 추론 능력은 더욱 고도화될 것으로 예상됩니다. 이러한 발전은 과학 기술 발전에 혁신적인 기여를 할 것으로 기대됩니다.
Reference
[arxiv] MAPS: Advancing Multi-Modal Reasoning in Expert-Level Physical Science
Published: (Updated: )
Author: Erle Zhu, Yadi Liu, Zhe Zhang, Xujun Li, Jin Zhou, Xinjie Yu, Minlie Huang, Hongning Wang
http://arxiv.org/abs/2501.10768v1