수학 MCQ 오답 생성의 혁신: LookAlike 모델의 등장

LookAlike 모델은 LLM을 이용한 수학 MCQ 오답 생성의 정확도를 크게 향상시켰으며, 모델 자체의 불일치성을 활용하는 혁신적인 방법으로 주목받고 있습니다. 향후 AI 기반 교육 시스템 개발에 큰 영향을 미칠 것으로 예상되지만, 윤리적 문제에 대한 지속적인 연구가 필요합니다.

최근 대규모 언어 모델(LLM)이 수학 교육 등 다양한 분야의 객관식 문제(MCQ) 오답 생성에 활용되고 있습니다. 하지만 기존 방법들은 학생들의 일반적인 오류와 일관성 있는 오답을 생성하는 데 한계를 보였습니다. Nisarg Parikh, Nigel Fernandez, Alexander Scarlatos, Simon Woodhead, Andrew Lan 등 연구진은 이러한 문제를 해결하기 위해 LookAlike 라는 혁신적인 모델을 제시했습니다.

LookAlike는 선호도 최적화를 통해 오답의 일관성을 향상시키는 방법을 제안합니다. 핵심적인 두 가지 혁신은 다음과 같습니다.

(a) 모델의 불일치성으로부터 인공적인 선호도 쌍을 추출: 기존의 휴리스틱 기반이나 수동으로 주석된 선호도 데이터에 의존하는 방식과 달리, LookAlike는 자체 생성 과정에서 발생하는 불일치성을 비선호 샘플로 활용합니다. 이를 통해 확장 가능하고 안정적인 학습을 가능하게 합니다.

(b) 지도 학습 미세 조정(SFT)과 직접 선호도 최적화(DPO)를 번갈아 사용하여 학습 안정화: SFT와 DPO를 병행함으로써 학습 과정의 안정성을 확보하고, 더욱 일관된 오답 생성을 가능하게 합니다.

1,400개 이상의 실제 수학 MCQ 데이터셋을 사용한 평가 결과, LookAlike는 오답 생성 정확도 51.6%, 오류 생성 정확도 57.2%를 달성했습니다. 이는 기존 최첨단 방법(45.6% / 47.7%)을 상당히 능가하는 성과입니다. 이는 선호도 기반 규제와 불일치성 마이닝이 대규모로 일관된 수학 MCQ 오답 생성에 효과적임을 보여줍니다.

LookAlike는 단순히 오답을 생성하는 것을 넘어, 학생들의 오류 패턴을 분석하고 이를 바탕으로 더욱 정교하고 일관된 오답을 생성하는 능력을 보여주었습니다. 이는 앞으로 수학 교육뿐만 아니라 다양한 교육 분야에서 LLM을 활용한 질문 생성 및 평가 시스템 개발에 중요한 영향을 미칠 것으로 예상됩니다. 하지만, 모델의 편향성이나 윤리적인 문제에 대한 지속적인 연구와 검토가 필요할 것입니다. 더욱 발전된 LookAlike 모델을 기대하며, AI 기반 교육의 미래를 긍정적으로 전망해봅니다.