SciHorizon: 과학 데이터부터 거대 언어 모델까지, AI4Science의 준비성을 측정하는 획기적인 벤치마킹 프레임워크

SciHorizon은 AI4Science의 준비성을 과학 데이터와 LLM 관점에서 종합적으로 평가하는 프레임워크입니다. 데이터의 품질, 공정성, 설명 가능성, 준수성을 평가하고, LLM의 지식, 이해, 추론 능력 등을 평가하여 20개 이상의 LLM에 대한 평가 결과를 공개했습니다.

최근 몇 년 동안 인공지능(AI), 특히 거대 언어 모델(LLM)의 급속한 발전은 과학 발견의 패러다임을 혁신적으로 변화시켰습니다. 이는 AI4Science(AI for Science)라는 역동적이고 진화하는 분야를 탄생시켰습니다. 그러나 과학 데이터의 질과 모델의 능력에 대한 전체적인 관점에서 AI4Science를 효과적으로 평가하는 프레임워크는 아직 부족한 실정입니다.

Qin Chuan 등 16명의 연구자는 이러한 문제를 해결하기 위해 SciHorizon을 제안했습니다. SciHorizon은 과학 데이터와 LLM 관점 모두에서 AI4Science의 준비성을 벤치마킹하도록 설계된 포괄적인 평가 프레임워크입니다.

SciHorizon의 핵심은 무엇일까요?

먼저, 연구팀은 과학 데이터의 AI 활용 가능성을 평가하는 일반화된 프레임워크를 제시했습니다. 이는 Quality(품질), FAIRness(공정성), Explainability(설명 가능성), Compliance(준수) 라는 4가지 핵심 요소로 구성되며, 각 요소는 다시 15개의 하위 요소로 세분화됩니다. 2018년부터 2023년까지 동료 심사 저널에 발표된 데이터 리소스 논문을 바탕으로, 지구과학과 생명과학 분야 모두에서 AI 활용 가능한 데이터 세트에 대한 권장 목록을 제시하여 해당 분야에 대한 새로운 기여를 했습니다.

동시에, 여러 과학 분야에서 LLM의 역량을 평가하기 위해 수학, 물리학, 화학, 생명과학, 지구 및 우주과학을 포괄하는 지식, 이해, 추론, 다중 모달, 가치라는 5가지 핵심 지표에 기반한 16가지 평가 차원을 설정했습니다. 개발된 벤치마크 데이터 세트를 사용하여 20개 이상의 대표적인 오픈소스 및 클로즈드소스 LLM에 대한 종합적인 평가를 수행했습니다. 모든 결과는 공개적으로 이용 가능하며 www.scihorizon.cn/en에서 확인할 수 있습니다.

SciHorizon은 단순한 평가 도구를 넘어, AI4Science 분야의 발전에 중요한 이정표를 제시합니다. 과학 데이터의 품질 향상과 LLM의 과학적 응용 확장에 대한 방향을 제시하며, 보다 효율적이고 신뢰할 수 있는 AI 기반 과학 연구를 위한 토대를 마련할 것으로 기대됩니다. 앞으로 SciHorizon이 AI4Science 발전에 어떤 영향을 미칠지 주목할 필요가 있습니다.