GeoSense: 다중 모달 AI의 기하학적 추론 능력 평가의 새로운 지평

중국 연구진이 개발한 GeoSense 벤치마크는 다중 모달 AI의 기하학적 추론 능력을 종합적으로 평가하여, AI의 인간과 유사한 추론 능력 향상에 기여할 것으로 기대됩니다. Gemini-2.0-pro-flash가 높은 성능을 보였으나, 기하 원리의 식별 및 적용이 여전히 개선되어야 할 부분으로 지적되었습니다.

중국 연구진, 기하 문제 해결 능력 평가를 위한 새로운 벤치마크 GeoSense 발표

최근 중국 연구진(Liangyu Xu 외)이 다중 모달 대규모 언어 모델(MLLM)의 기하 문제 해결(GPS) 능력을 평가하는 새로운 벤치마크 GeoSense를 발표했습니다. GPS는 시각적 이해와 기호적 추론을 모두 필요로 하는 어려운 과제로, MLLM의 추론 능력을 효과적으로 측정할 수 있습니다. 인간은 시각적 맥락에서 기하 원리를 정확하게 식별하고 적용함으로써 GPS에서 강력한 추론 능력을 보여줍니다.

하지만 기존 벤치마크는 MLLM의 인간과 유사한 기하 추론 메커니즘의 두 가지 측면(기하 원리의 식별 및 적용)을 종합적으로 평가하지 못했습니다. GeoSense는 바로 이러한 한계를 극복하기 위해 등장했습니다.

GeoSense의 핵심 특징:

• 5단계 계층적 기하 원리 프레임워크: 평면 기하와 입체 기하를 포괄하는 다양한 기하 원리를 계층적으로 구성했습니다.
• 1,789개 문제의 정교하게 주석 달린 데이터셋: 방대한 양의 문제와 상세한 주석을 통해 MLLM의 추론 과정을 심층적으로 분석할 수 있습니다.
• 혁신적인 평가 전략: 기하 원리의 식별과 적용 능력을 종합적으로 평가하는 새로운 전략을 도입했습니다.

실험 결과 및 시사점:

다양한 오픈소스 및 클로즈드소스 MLLM을 대상으로 진행된 실험에서 Gemini-2.0-pro-flash가 가장 높은 점수(65.3점)를 기록했습니다. 하지만 연구진은 주요 MLLM에서 기하 원리의 식별과 적용이 여전히 추론 능력 향상의 병목 현상임을 지적했습니다. 이는 MLLM의 기하 추론 능력 향상을 위한 향후 연구 방향을 제시하는 중요한 발견입니다.

결론:

GeoSense는 MLLM의 기하 추론 능력을 평가하는 데 있어 새로운 기준을 제시하며, 더욱 강력하고 인간과 유사한 추론 능력을 갖춘 인공지능 개발에 중요한 역할을 할 것으로 예상됩니다. GeoSense의 등장은 AI 연구의 새로운 장을 열 것으로 기대됩니다. 앞으로 GeoSense를 활용한 후속 연구를 통해 MLLM의 기하학적 추론 능력이 어떻게 발전해 나갈지 주목할 필요가 있습니다.