DataSciBench: 데이터 과학 분야 LLM 에이전트의 새로운 척도

DataSciBench는 현실적인 데이터 과학 문제를 다루는 새로운 LLM 벤치마크로, LLM 기반 자기 일관성 검증 및 TFC 프레임워크를 통해 정확하고 엄격한 평가를 제공합니다. 실험 결과, API 기반 모델이 우수한 성능을 보였으며, Deepseek-Coder-33B-Instruct가 오픈소스 모델 중 최고 성능을 기록했습니다.

데이터 과학 LLM의 능력을 측정하는 새로운 기준, DataSciBench 등장!

최근 몇 년간, 대규모 언어 모델(LLM)의 발전은 눈부십니다. 하지만 이러한 모델의 데이터 과학 분야에서의 실제 능력은 어떻게 평가할 수 있을까요? 단순한 과제와 명확한 정답만으로는 LLM의 진정한 역량을 파악하기 어렵습니다. 중국과학원, 텐센트 등의 연구진이 개발한 DataSciBench는 바로 이러한 문제의식에서 출발합니다.

DataSciBench는 기존 벤치마크의 한계를 뛰어넘는, 훨씬 포괄적이고 도전적인 벤치마크입니다. 단순한 과제 대신, 현실적인 데이터 과학 문제를 다루는 다양한 프롬프트들을 제공하여, LLM의 실제 데이터 분석 능력을 평가합니다. 특히 불확실한 정답과 평가 지표를 다루는 점이 특징적입니다.

그렇다면 DataSciBench는 어떻게 LLM의 성능을 평가할까요?

연구진은 LLM 기반의 자기 일관성 검증과 인간 검증을 결합한 독창적인 방법을 사용합니다. 수집된 프롬프트, 사전 정의된 작업 유형, 그리고 집계 함수(지표)를 활용하여 정확한 정답을 생성합니다. 또한, Task - Function - Code (TFC) 프레임워크를 통해 코드 실행 결과를 정밀하게 평가하는데, 이는 명확하게 정의된 지표와 프로그래밍 규칙에 기반합니다.

실험 결과는 어떨까요?

6개의 API 기반 모델, 8개의 오픈소스 일반 모델, 9개의 오픈소스 코드 생성 모델을 대상으로 실험을 진행한 결과, API 기반 모델이 모든 지표에서 오픈소스 모델을 능가하는 것으로 나타났습니다. 특히 Deepseek-Coder-33B-Instruct 모델이 오픈소스 모델 중 가장 높은 점수를 기록했습니다.

이 연구는 단순히 LLM의 성능을 비교하는 것을 넘어, 데이터 과학 분야에서 LLM의 강점과 약점을 밝히는 데 기여합니다. 더욱이, 모든 코드와 데이터는 Github(https://github.com/THUDM/DataSciBench)에서 공개되어, 다른 연구자들의 연구를 촉진할 것으로 기대됩니다. DataSciBench는 데이터 과학 분야에서 LLM의 발전을 위한 중요한 이정표가 될 것입니다. 앞으로 더욱 발전된 LLM 벤치마크를 기대하며, DataSciBench의 활약을 주목해 봅시다! 🎉