Auto-Bench: AI 과학자의 탄생을 위한 새로운 척도

Auto-Bench는 LLM의 과학적 발견 능력을 평가하는 새로운 벤치마크로, 최첨단 LLM의 성능을 평가한 결과 문제 복잡성 증가에 따른 성능 저하를 확인하여 향후 LLM 개발의 중요한 과제를 제시했습니다.

최근 괄목할 만한 성능을 보이는 거대 언어 모델(LLM)의 등장은 인류에게 새로운 가능성을 열어주었습니다. 그중 가장 흥미로운 질문 중 하나는 바로 LLM이 인간처럼 과학 연구를 수행하고 새로운 지식을 발견하는, 즉 'AI 과학자'로서 기능할 수 있는가 입니다.

과학적 발견은 효율적인 지식 갱신과 암호화를 필요로 하는 반복적인 과정입니다. 주변 환경을 이해하고, 새로운 가설을 설정하고, 행동에 대한 추론을 수행하는 복잡한 작업이죠. 하지만 지금까지 LLM 에이전트의 과학적 발견 능력을 평가하기 위한 표준화된 벤치마크는 존재하지 않았습니다.

이러한 한계를 극복하기 위해, Tingting Chen을 비롯한 연구진은 Auto-Bench라는 혁신적인 벤치마크를 개발했습니다. Auto-Bench는 자연 과학과 사회 과학 모두에서 LLM의 과학적 발견 능력을 평가하기 위해 필수적인 요소들을 포함하고 있습니다. 핵심 원리는 인과 그래프 발견에 있습니다. 모델은 숨겨진 구조를 밝혀내고 최적의 결정을 내려야 하며, 이를 뒷받침하는 타당한 근거를 제시해야 합니다.

오라클과 상호 작용하면서 모델은 전략적 개입을 통해 기저 상호 작용(화학적 및 사회적 상호 작용)에 대한 이해를 반복적으로 개선해 나갑니다. 연구진은 GPT-4, Gemini, Qwen, Claude, Llama 등 최첨단 LLM을 Auto-Bench로 평가했습니다. 그 결과, 문제의 복잡성이 증가함에 따라 성능이 현저히 저하되는 것을 관찰했습니다.

이는 기계 지능과 인간 지능 사이에 상당한 격차가 존재하며, 향후 LLM 개발에서 이러한 격차를 해소하는 것이 중요한 과제임을 시사합니다. Auto-Bench는 AI 과학자의 꿈을 향한 여정에서 중요한 이정표를 제시하며, 동시에 향후 LLM 연구 방향을 제시하는 중요한 결과물로 평가받고 있습니다. AI의 과학적 잠재력을 탐구하는 여정은 이제 막 시작되었으며, Auto-Bench는 그 여정의 핵심적인 도구가 될 것입니다. 앞으로의 연구를 통해 AI가 인간 과학자와 협력하여 더욱 놀라운 발견을 이루어낼 수 있기를 기대해봅니다.