튜터짐(TutorGym): AI 튜터 및 학생 평가를 위한 새로운 시험대

TutorGym은 AI 에이전트를 튜터와 학생으로 평가하는 새로운 플랫폼으로, LLM의 튜터링 능력의 한계와 학습 능력의 가능성을 보여주는 연구 결과를 제시합니다.

최근 MATH 및 GSM8K와 같은 학업 벤치마크에서 대규모 언어 모델(LLM)의 성능이 향상되면서, LLM을 독립적인 튜터나 인간 학습 시뮬레이션으로 활용하려는 시도가 늘고 있습니다. 하지만 이러한 새로운 응용 프로그램은 최종 해결책 생성 평가만으로는 부족합니다. Daniel Weitekamp, Momin N. Siddiqui, Christopher J. MacLellan 등 연구진은 이러한 문제를 해결하기 위해 TutorGym을 개발했습니다.

TutorGym은 기존의 지능형 튜터링 시스템(ITS) 내에서 AI 에이전트를 테스트하기 위한 표준 인터페이스입니다. Cognitive Tutors (CTAT), Apprentice Tutors, OATutors 등 기존의 교실 연구를 통해 검증되고 개선된 ITS를 기반으로 합니다. 단순한 문제 해결 벤치마크를 넘어, TutorGym은 AI 에이전트를 기존 ITS의 대화형 인터페이스에 통합합니다.

문제 해결의 각 단계에서 AI 에이전트는 튜터 또는 학습자로서 무엇을 할 것인지 질문받습니다. 튜터로서 AI 에이전트는 예시 생성, 힌트 제공, 단계별 정확성 피드백과 같은 튜터링 지원을 제공해야 하며, 이는 기존 ITS가 제공하는 적응형 단계별 지원과 직접 비교 평가됩니다. 학습자로서 에이전트는 ITS의 지도를 직접 학습하고, 그들의 실수와 학습 경로는 학생 데이터와 비교됩니다.

TutorGym은 LLM, 계산 학습 모델, 강화 학습 에이전트 등 다양한 AI 에이전트를 교육하고 평가하기 위한 공통 프레임워크를 구축하며, 현재 223개의 서로 다른 튜터 도메인을 포함하고 있습니다. 초기 평가 결과, 현재의 LLM은 튜터링에는 부족한 것으로 나타났습니다. 잘못된 행동을 식별하는 데 있어서는 어떤 LLM도 우연보다 나은 성능을 보이지 못했으며, 다음 단계의 행동이 정확한 비율은 약 52~70%에 불과했습니다. 하지만 맥락 학습(in-context learning)을 통해 학습자로 훈련될 경우, 놀랍도록 인간과 유사한 학습 곡선을 생성할 수 있었습니다.

이는 LLM의 튜터 역할에 대한 추가적인 연구 개발의 필요성을 시사하며, 동시에 학습자로서의 LLM의 잠재력을 보여주는 중요한 결과입니다. TutorGym은 AI 기반 교육 기술의 발전에 중요한 기여를 할 것으로 기대됩니다. 🤔