생성형 AI 시대, 다지선다형 문제는 여전히 유효한가? 🤔


본 연구는 생성형 AI 시대에 다지선다형 문제의 효용성을 재평가하고, 시간 효율성 측면에서 다지선다형 문제의 우수성을 밝혔습니다. GPT 모델을 이용한 오픈 응답형 문제 자동 채점의 가능성을 제시하였으나, 광범위한 활용을 위한 추가 연구의 필요성을 강조했습니다.

related iamge

교육 현장에서 다지선다형 문제(MCQs)의 효과성에 대한 논쟁은 끊이지 않았습니다. 채점의 용이성 때문에 널리 사용되었지만, 최근 대규모 언어 모델(LLMs)의 발전으로 자동 채점이 가능해짐에 따라 오픈 응답형 문제가 주목받고 있습니다. Danielle R. Thomas 등 연구진은 "생성형 AI 시대의 다지선다형 문제: 사후 검사만을 이용한 무작위 통제 시험" 연구를 통해 이러한 논쟁에 새로운 시각을 제시했습니다.

연구 설계: 흥미로운 비교 실험

연구진은 옹호(advocacy)에 관한 6가지 튜터 수업에 다지선다형 문제, 오픈 응답형 문제, 그리고 두 가지 유형의 문제를 결합한 세 가지 조건을 설정하여 234명의 튜터(790개의 수업 완료)를 대상으로 사후 검사만을 이용한 무작위 통제 시험(posttest-only randomized control design)을 진행했습니다. 이는 다양한 유형의 문제가 학습 효과에 어떤 영향을 미치는지 비교 분석하기 위한 설계입니다.

놀라운 결과: 시간 효율성의 승리 🎉

결과는 예상을 뛰어넘었습니다. 사후 검사 결과, 세 가지 조건 간 학습 성취도에 유의미한 차이가 없었습니다! 하지만 다지선다형 문제만을 사용한 조건의 튜터들이 수업 완료 시간이 현저히 짧았습니다. 이는 시간이 제한된 학습 환경에서 다지선다형 문제가 오픈 응답형 문제만큼 효과적이며, 더욱 효율적임을 의미합니다.

AI의 등장: 자동 채점의 가능성과 과제 🤖

연구진은 GPT-4o와 GPT-4-turbo를 이용하여 오픈 응답형 문제의 자동 채점 가능성을 실험했습니다. GPT 모델은 저위험도 평가 목적으로는 상당한 수준의 정확성을 보였습니다. 그러나 이러한 자동 채점 시스템의 광범위한 활용을 위해서는 더욱 심도있는 연구가 필요함을 강조했습니다.

미래를 위한 제언: 균형 잡힌 접근

이 연구는 단순히 다지선다형 문제의 효율성을 강조하는 것에 그치지 않습니다. 시간 제약이 있는 학습 환경에서의 실용적인 대안을 제시하고, AI 기반 자동 채점 기술의 발전 가능성과 한계를 동시에 보여줍니다. 앞으로 다지선다형 문제와 오픈 응답형 문제, 그리고 AI 자동 채점 기술의 상호 작용에 대한 연구가 지속적으로 이루어져야 할 것입니다. 이 연구에서 제공된 수업 로그 데이터, 인간의 주석 기준, LLM 프롬프트는 향후 연구의 투명성과 재현성을 높이는 데 크게 기여할 것으로 기대됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Does Multiple Choice Have a Future in the Age of Generative AI? A Posttest-only RCT

Published:  (Updated: )

Author: Danielle R. Thomas, Conrad Borchers, Sanjit Kakarla, Jionghao Lin, Shambhavi Bhushan, Boyuan Guo, Erin Gatz, Kenneth R. Koedinger

http://arxiv.org/abs/2412.10267v1