CodEv: AI 기반 자동 채점 시스템으로 코딩 교육의 미래를 바꾸다
대만 국립 타이완대학교 연구진이 개발한 CodEv는 LLM과 CoT 프롬프팅, LLM 앙상블을 활용하여 인간 평가자 수준의 정확하고 일관된 코딩 과제 채점 및 피드백을 제공하는 자동 채점 프레임워크입니다. 소규모 LLM을 사용하면서도 높은 성능을 보여주는 효율적인 시스템입니다.

프로그래밍 과제 채점은 학생들의 코딩 실력 향상과 코딩 스타일 개선에 필수적입니다. 하지만 많은 시간과 노력을 필요로 하는 작업이죠. 대만 국립 타이완대학교 연구진(Tseng, Huang, Hsu, Wu, Ku, Kang)은 이러한 어려움을 해결하기 위해 CodEv, 즉 대규모 언어 모델(LLM)을 활용한 자동 채점 프레임워크를 개발했습니다.
CodEv는 단순히 채점만 하는 것이 아닙니다. 일관성 있고 건설적인 피드백을 제공하는 것을 목표로 합니다. 이를 위해 연구진은 Chain of Thought(CoT) 프롬프팅 기법을 도입했습니다. CoT는 LLM의 추론 능력을 향상시켜 인간 평가자의 기준에 맞는 채점을 가능하게 합니다. 마치 숙련된 강사가 학생의 코드를 분석하고 문제점을 명확히 지적하듯이 말이죠.
더 나아가 CodEv는 LLM 앙상블을 통해 채점의 정확성과 일관성을 높였습니다. 여러 개의 LLM이 함께 채점하고 결과를 종합하여 더욱 신뢰할 수 있는 피드백을 제공하는 것이죠. 이는 마치 여러 전문가의 의견을 종합하여 최종 평가를 내리는 것과 같습니다. 또한, 일치도 검정(agreement tests) 을 통해 생성된 점수와 피드백의 신뢰성을 검증했습니다. 이는 CodEv가 단순히 자동화된 시스템이 아닌, 신뢰할 수 있는 평가 도구임을 보여줍니다.
놀랍게도 CodEv는 소규모 LLM을 사용함에도 불구하고 인간 평가자와 유사한 채점 결과를 얻었습니다. 이는 자원 효율성 측면에서도 큰 장점입니다. 이 연구는 LLM의 잠재력을 코딩 교육에 효과적으로 적용한 성공적인 사례이며, 앞으로 AI 기반 교육 시스템 발전에 큰 영향을 미칠 것으로 예상됩니다. CodEv의 등장은 단순히 채점 업무의 자동화를 넘어, 학생들에게 더욱 효과적이고 맞춤화된 학습 경험을 제공하는 새로운 시대를 열어갈 것입니다. 하지만, AI 기반 시스템의 한계와 윤리적인 문제에 대한 지속적인 연구와 고찰이 필요하다는 점 또한 중요하게 인지해야 합니다. AI는 도구일 뿐, 교육의 본질적인 가치를 대체할 수는 없으니까요.
Reference
[arxiv] CodEv: An Automated Grading Framework Leveraging Large Language Models for Consistent and Constructive Feedback
Published: (Updated: )
Author: En-Qi Tseng, Pei-Cing Huang, Chan Hsu, Peng-Yi Wu, Chan-Tung Ku, Yihuang Kang
http://arxiv.org/abs/2501.10421v1