EssayJudge: 다모달 거대 언어 모델의 자동 에세이 채점 능력 평가를 위한 다중 과립 벤치마크

EssayJudge는 MLLM 기반 자동 에세이 채점 시스템의 성능을 다중 과립(어휘, 문장, 담화)으로 평가하는 최초의 다모달 벤치마크입니다. 18개 MLLM 실험 결과, 담화 수준 평가에서 인간 평가와의 차이가 확인되어 MLLM 기반 AES 기술의 추가 연구 필요성을 제기합니다.

EssayJudge: 교육 평가의 혁신을 위한 도전과 미래

자동 에세이 채점(AES)은 교육 평가의 효율성을 높이는 핵심 기술입니다. 하지만 기존 AES 시스템은 세 가지 큰 문제점을 안고 있었습니다. 첫째, 일반화가 어려운 수작업 기능에 의존하고, 둘째, 일관성 및 논증과 같은 세밀한 특징을 포착하는 데 어려움을 겪었으며, 셋째, 다양한 모달리티를 처리할 수 없었습니다.

이러한 문제를 해결하고자 중국과학원 자동화연구소 소속 Jiamin Su 등 9명의 연구원은 EssayJudge 라는 새로운 벤치마크를 제안했습니다. EssayJudge는 다양한 모달리티를 활용하는 거대 언어 모델(MLLM)의 AES 능력을 어휘, 문장, 담화 수준의 특성에 걸쳐 평가하는 최초의 다모달 벤치마크입니다. MLLM의 장점을 활용하여 수작업 기능 없이도 정확하고 풍부한 맥락을 제공하는 평가를 목표로 합니다.

연구팀은 18개의 대표적인 MLLM을 이용한 실험을 통해 기존 AES 시스템의 한계를 드러냈습니다. 특히, 담화 수준의 특성 평가에서 인간 평가와의 차이가 뚜렷하게 나타났습니다. 이는 MLLM 기반 AES 연구가 더욱 발전해야 함을 시사하는 중요한 결과입니다. 연구팀은 향후 EssayJudge의 데이터셋과 코드를 공개할 예정입니다.

EssayJudge는 단순한 기술적 발전을 넘어 교육 평가의 패러다임을 바꿀 잠재력을 지니고 있습니다. 더욱 정확하고 공정한 평가 시스템을 통해 학습자의 역량을 정확하게 평가하고, 교육의 질을 개선하는데 크게 기여할 것으로 기대됩니다. 하지만, 실험 결과에서 드러난 한계는 MLLM 기반 AES 기술의 지속적인 연구개발의 필요성을 보여줍니다. 특히, 담화 수준의 이해와 같은 고차원적 언어 능력 향상에 대한 지속적인 노력이 요구됩니다. 앞으로 EssayJudge가 어떻게 발전하고 교육 현장에 적용될지 주목할 필요가 있습니다.