획기적인 AI 기반 교육 시스템: 코딩 문제에 대한 자동 지식 구성 요소 생성 및 추적

본 연구는 LLM 기반의 자동화된 지식 구성 요소 생성 및 지식 추적 시스템(KCGen-KT)을 제시합니다. 실제 학생 데이터를 이용한 평가 결과, KCGen-KT는 기존 방법보다 우수한 성능을 보이며, 교육 분야의 효율성 및 개인화 학습에 크게 기여할 것으로 기대됩니다.

온라인 학습 플랫폼에서 학생들의 학습 과정을 추적하고 개인 맞춤형 학습 및 피드백을 제공하는 데에는 지식 구성 요소(KC: Knowledge Components) 가 중요한 역할을 합니다. KC는 문제와 연결되어 학생들이 특정 기술에 대한 숙련도를 세분화하여 파악하는 데 도움을 줍니다. 하지만 지금까지 KC를 문제에 매핑하는 작업은 전문가에 의해 수동으로 수행되어 매우 많은 시간과 노력이 필요했습니다.

Zhangqi Duan을 비롯한 연구팀은 이러한 어려움을 해결하기 위해 대규모 언어 모델(LLM) 기반의 완전 자동화된 파이프라인인 KCGen-KT를 개발했습니다. KCGen-KT는 자동 지식 구성 요소 생성(KC generation) 과 지식 추적(KT: Knowledge Tracing) 을 결합한 시스템입니다. 이는 오픈 엔드 프로그래밍 문제에 대한 KC 생성 및 태깅을 자동화하여 교육 과정의 효율성을 크게 높입니다.

연구팀은 실제 학생들의 코딩 제출 데이터를 활용하여 KCGen-KT의 성능을 정량적, 정성적으로 평가했습니다. 그 결과, KCGen-KT는 기존의 KT 방법보다 뛰어난 성능을 보였습니다. 특히, 생성된 KC의 학습 곡선 분석을 통해 LLM에 의해 생성된 KC가 사람이 작성한 KC와 유사한 수준의 적합성을 가지는 것을 확인했습니다(성능 요소 분석 모델 사용). 더 나아가, 인간 평가자를 통해 KC 태깅 정확도를 검증한 결과, 전문가 수준의 정확도에 근접한 결과를 얻었습니다.

KCGen-KT는 교육 분야에 혁신적인 변화를 가져올 잠재력을 가지고 있습니다. 수동 작업의 부담을 줄이고, 개인 맞춤형 학습을 보다 효율적으로 제공할 수 있게 함으로써, 학생들의 학습 효과를 극대화하는 데 크게 기여할 것으로 예상됩니다. 이는 단순한 기술 발전을 넘어, 교육의 미래를 새롭게 조명하는 획기적인 성과라 할 수 있습니다.