획기적인 AI MCQ 풀이 전략: 옵션 ID 기반 제거법

Zhenhao Zhu 등 연구팀은 옵션 ID 기반 제거 전략을 통해 LLM의 MCQ 풀이 성능을 크게 향상시키는 새로운 방법을 제시했습니다. 순차적 제거 전략의 효과와 퓨샷 설정 및 디바이어스 기법과의 결합 가능성을 확인하여 LLM의 추론 능력 향상 및 효율적인 문제 해결 전략 개발에 새로운 지평을 열었습니다.

대규모 언어 모델(LLM)의 성능 평가에 널리 사용되는 다중 선택형 질문(MCQ). Zhenhao Zhu, Bulou Liu, Qingyao Ai, Yiqun Liu 연구팀은 인간의 MCQ 풀이 전략에서 착안, 옵션 제거(PoE) 라는 효과적인 문제 해결 방법에 주목했습니다. 기존 PoE 방법들은 LLM이 직접 오답을 선택하거나, 옵션 점수를 매기는 방식으로 높은 계산 비용과 낮은 정확도라는 한계를 지녔습니다.

하지만 이 연구팀은 이러한 한계를 극복하는 새로운 전략을 제시했습니다. 바로 옵션 ID 기반의 PoE입니다! 핵심은 가장 낮은 확률을 가진 옵션 ID를 제거하는 것입니다. 이 간결하면서도 효과적인 방법은 10개의 서로 다른 LLM을 대상으로 7개의 공개 데이터 세트에서 제로샷 설정으로 실험을 진행하여 검증되었습니다.

실험 결과는 놀라웠습니다. 옵션 ID 기반 PoE는 LLM의 성능을 상당히 향상시켰습니다. 특히, 순차적 제거 전략이 LLM의 추론 능력을 향상시키는 데 효과적임을 밝혀냈습니다. 더 나아가, 이 방법은 퓨샷 설정에도 적용 가능하며, 디바이어스(debias) 기법과 결합하면 LLM의 성능을 더욱 높일 수 있다는 가능성을 제시했습니다.

이 연구는 단순히 MCQ 풀이 성능 향상을 넘어, LLM의 추론 능력 향상 및 효율적인 문제 해결 전략 개발에 대한 새로운 방향을 제시하는 획기적인 결과로 평가받고 있습니다. 앞으로 LLM 기반 교육 및 평가 시스템의 발전에 큰 영향을 미칠 것으로 예상됩니다. 🤯