수학 과외 선생님으로서의 AI: 가능성과 한계

본 기사는 AI 기반 대규모 언어 모델(LLM)을 수학 과외 교사로 활용 가능성에 대한 연구 결과를 소개합니다. LLM의 문제 해결 능력은 높지만, 상호 작용적 과외 지원에서는 오류가 발생할 수 있으며, 인간의 감독 없이는 완전한 대체재가 될 수 없다는 점을 강조합니다.

최근 몇 년간, 인공지능(AI)의 발전은 눈부십니다. 특히 대규모 언어 모델(LLM)은 GSM8k, ProofNet, AlphaGeometry, MathOdyssey와 같은 프로젝트를 통해 수학 문제 해결 능력을 괄목할 만큼 향상시켰습니다. 이러한 발전은 자연스럽게 AI를 수학 과외 선생님으로 활용할 수 있는 가능성에 대한 기대감을 높였습니다.

하지만, Adit Gupta 등 연구진이 발표한 논문, "Beyond Final Answers: Evaluating Large Language Models for Math Tutoring" 은 LLM이 수학 과외 교사로서 얼마나 신뢰할 수 있는지에 대한 의문을 제기합니다. 단순히 문제를 푸는 것과 학생에게 효과적인 학습 지원을 제공하는 것은 다르기 때문입니다. 연구진은 이러한 의문에 답하기 위해 두 가지 혁신적인 평가 방법을 제시했습니다.

첫 번째 방법은 대학 대수학 과정을 위한 지능형 튜터링 시스템을 활용하여 LLM의 문제 해결 능력을 평가하는 것입니다. 튜터링 시스템에서 생성한 문제를 다양한 LLM에 입력하고, LLM의 답을 튜터링 시스템의 답과 비교하는 방식입니다. 이는 LLM의 정확도를 객관적으로 측정할 수 있는 기준을 제공합니다.

두 번째 방법은 LLM을 문제 해결자가 아닌, 실제 과외 교사로 평가하는 것입니다. 인간 평가자(학생 역할)가 LLM에게 과외를 받는 상황을 연출하고, LLM이 제공하는 지원의 질과 정확성을 정성적으로 분석합니다. 이는 LLM의 상호작용 능력 및 교육적 효과를 평가하는 데 초점을 맞춥니다.

연구진은 ChatGPT 3.5 Turbo, 4, 4o, o1-mini, o1-preview 등 여러 모델을 대상으로 이 두 가지 방법을 적용했습니다. 결과는 놀랍습니다. 문제 해결 능력 측면에서는 대학 대수 문제의 85.5%를 정답으로 맞혔습니다. 하지만 상호 작용적인 과외 지원 측면에서는 90%의 대화에서 높은 질의 교육적 지원을 제공했지만, 완벽하게 정확한 답변만을 제공한 경우는 56.6%에 불과했습니다.

결론적으로, LLM은 수학 문제 해결 능력이 뛰어나지만, 정확성과 질을 보장하기 위한 추가적인 메커니즘이나 인간의 감독 없이는 아직 지능형 수학 과외 교사로서의 완벽한 역할을 수행하기에는 어려움이 있다는 것을 시사합니다. AI의 발전 속도는 놀랍지만, 교육 분야에서의 AI 활용은 여전히 신중한 접근과 지속적인 연구가 필요하다는 점을 상기시켜줍니다. AI는 도구일 뿐이며, 궁극적으로 교육의 질을 높이는 것은 인간의 역할이라는 것을 잊지 말아야 합니다.