LLM 기반 MCQ 난이도 예측: 추론 및 샘플링 증강 기법의 놀라운 성과

본 연구는 LLM과 IRT 이론을 결합하여 MCQ 난이도 예측의 정확도를 크게 향상시킨 새로운 방법을 제시합니다. LLM을 활용한 추론 과정 증강과 샘플링 기반 지식 수준 고려를 통해 기존 방법 대비 괄목할 만한 성능 향상을 달성했습니다.

객관식 문제(MCQ)의 난이도 예측은 교육 평가의 핵심 과제입니다. 단순히 정답을 맞히는 것 이상으로, 정답에 도달하는 추론 과정의 복잡성과 오답(distractor)의 그럴듯함을 동시에 이해해야 하기 때문입니다. Wanyong Feng 등 연구진은 이러한 어려움을 극복하기 위해 혁신적인 두 단계 방법을 제시했습니다.

첫 번째 단계: 연구진은 거대 언어 모델(LLM)을 활용하여 각 선택지에 도달하는 추론 과정을 증강시켰습니다. 단순히 MCQ 자체만이 아니라, 이러한 추론 과정까지 입력으로 사용하여 난이도를 예측하는 것입니다. 이는 기존의 단순한 MCQ 분석을 넘어, 문제 해결 과정 자체의 복잡성을 정량적으로 평가하는 획기적인 시도입니다.

두 번째 단계: 응답자의 지식 수준 차이를 고려하기 위해, IRT(Item Response Theory) 이론에서 영감을 얻어 지식 수준을 분포에서 샘플링합니다. 이를 통해 학생들이 각 선택지를 선택할 확률(정답 및 오답 모두)을 추정하고, 이를 실제 값과 KL divergence 기반 정규화 목표를 사용하여 정렬합니다. 추정된 확률을 바탕으로 MCQ 난이도를 예측하는 것입니다. 이는 문제의 난이도를 단순히 숫자로 나타내는 것이 아니라, 다양한 지식 수준의 학습자에게 어떻게 다르게 인식되는지를 반영하는 정교한 접근입니다.

연구진은 실제 수학 MCQ 데이터셋 두 개를 사용하여 이 방법을 평가했습니다. 실험 결과, 제안된 방법은 기존 방법들보다 최대 28.3%의 평균 제곱 오차 감소와 34.6%의 결정 계수 향상을 보였습니다. 이는 LLM과 IRT 이론의 결합을 통해 MCQ 난이도 예측의 정확도를 상당히 높였다는 것을 의미합니다. 단순한 난이도 예측을 넘어, 문제 해결 과정의 분석과 응답자의 지식 수준까지 고려하는 정교한 모델의 우수성을 보여주는 결과입니다. 본 연구는 교육 평가 분야에서 LLM의 활용 가능성을 넓히고, 더욱 정확하고 효율적인 평가 시스템 구축에 기여할 것으로 기대됩니다.