AI가 평가의 공정성을 높인다? LLM과 XAI를 활용한 DIF 예측 연구

마에다 호타카와 루 이카이 연구진의 연구는 LLM과 XAI를 활용하여 시험 문항의 DIF를 예측하고, 관련 단어를 식별함으로써 평가의 공정성을 높이는 새로운 방법을 제시합니다. 기존 DIF 분석의 한계를 극복하고, 특히 자원이 부족한 환경에서 평가의 질을 향상시킬 수 있는 잠재력을 가지고 있습니다.

최근, 마에다 호타카와 루 이카이 연구진이 발표한 논문에서 LLM(대규모 언어 모델)과 XAI(설명 가능한 인공지능)를 활용하여 시험 문항의 차별적 기능(DIF, Differential Item Functioning)을 예측하는 획기적인 연구 결과가 발표되었습니다. 이 연구는 단순히 DIF를 예측하는 것을 넘어, 어떤 단어들이 DIF와 관련이 있는지까지 밝혀냈다는 점에서 큰 의미를 지닙니다.

연구진은 3학년부터 11학년까지의 학생들을 대상으로 한 영어와 수학 시험 문항 42,180개를 데이터로 사용했습니다. 여러 개의 인코더 기반 Transformer LLM을 미세 조정하여 DIF를 예측하는 모델을 만들고, $R^2$ 값이 0.04에서 0.32까지 다양한 결과를 얻었습니다. 흥미로운 점은, DIF와 관련된 단어들이 시험 문제의 설계 과정에서 의도적으로 포함된 하위 영역을 반영하는 경우가 많다는 것입니다. 이는 기존의 DIF 분석에서 혼란스럽거나 결론을 내리기 어려운 결과가 나오는 이유를 설명해줍니다.

하지만 이 연구는 단순히 문제점을 지적하는 데 그치지 않습니다. 연구진은 개발한 모델을 통해 문항 작성 단계에서 DIF와 관련된 단어들을 사전에 식별하고 수정할 수 있는 가능성을 제시합니다. 또한 기존 DIF 분석 결과를 검토할 때, 핵심 단어들을 강조하여 분석의 정확성을 높일 수 있다는 점도 시사합니다.

특히, 고품질 문항 개발에 필요한 자원이 부족하거나, 소규모 집단에 대한 충분한 표본 크기를 확보하기 어려운 경우에 이 연구의 방법론은 큰 효용을 발휘할 수 있습니다. 결론적으로 이 연구는 AI 기술을 활용하여 평가의 공정성을 향상시키고, 더욱 정확하고 효율적인 평가 시스템 구축에 기여할 수 있는 잠재력을 보여줍니다. 앞으로 이 연구가 확장되어 더욱 다양한 평가 영역에서 공정성을 높이는 데 활용될 수 있기를 기대합니다. 이는 단순한 기술 개발을 넘어, 교육의 평등과 공정한 기회 제공이라는 중요한 사회적 가치와 연결되는 의미있는 연구입니다.

키워드: DIF, 차별적 문항 기능, LLM, 대규모 언어 모델, XAI, 설명 가능한 인공지능, 평가 공정성, 교육 평등, 시험 문항 분석