AutoGEEval: 지리공간 코드 생성의 새로운 지평을 열다

AutoGEEval은 Google Earth Engine(GEE) 플랫폼에서 지리공간 코드 생성을 위한 최초의 다중 모드 자동 평가 프레임워크로, 1325개의 테스트 사례와 18개의 최첨단 LLMs 평가를 통해 지리공간 코드 생성 모델 개발의 새로운 기준을 제시합니다.

인공지능(AI)과 지구과학 분석의 융합이 가속화되는 가운데, 지리공간 코드 생성은 핵심적인 연구 분야로 떠오르고 있습니다. 하지만 지금까지 이 분야에는 표준화된 자동 평가 도구가 부족했습니다. 이러한 한계를 극복하고자, 중국과학원 소속 연구진(Hou 등, 2025)은 AutoGEEval을 개발했습니다.

AutoGEEval은 Google Earth Engine(GEE) 플랫폼에서 지리공간 코드 생성 과제를 위한 최초의 다중 모드, 단위 수준 자동 평가 프레임워크입니다. 대규모 언어 모델(LLM)을 기반으로 구축된 AutoGEEval은 GEE Python API를 활용하여 26가지 GEE 데이터 유형을 아우르는 1325개의 테스트 사례로 구성된 AutoGEEval-Bench 벤치마크를 제공합니다.

단순한 코드 생성을 넘어, AutoGEEval은 질문 생성과 답변 검증 기능을 통합하여 기능 호출부터 실행 검증까지 엔드-투-엔드 자동화된 평가 파이프라인을 구축했습니다. 여기서 멈추지 않고, 정확도, 자원 소비, 실행 효율성, 오류 유형 등 다차원적인 정량 분석을 지원하여 모델 성능을 종합적으로 평가합니다.

연구진은 범용 모델, 추론 증강 모델, 코드 중심 모델, 지구과학 특화 모델 등 18개의 최첨단 LLMs을 AutoGEEval을 이용하여 평가했습니다. 이를 통해 각 모델의 성능 특성을 분석하고 GEE 코드 생성에서의 최적화 방향을 제시했습니다.

AutoGEEval은 지리공간 코드 생성 모델의 개발과 평가를 위한 통합된 프로토콜과 기초 자원을 제공함으로써, 자연어에서 도메인 특정 코드로의 자동 번역 분야를 한 단계 발전시켰습니다. 이는 AI 기반 지리공간 분석의 발전에 중요한 이정표가 될 것으로 기대됩니다. 향후 AutoGEEval은 더욱 다양한 지리공간 데이터와 LLM을 지원하며 지속적으로 발전해나갈 것으로 예상됩니다.