틀려도 자신만만? 추론 과정이 LLM의 자신감을 높인다!


LLM의 다중 선택형 질문(MCQ) 평가에서 추론 과정이 모델의 자신감에 미치는 영향을 분석한 연구 결과, 추론 과정을 거친 LLM이 정답 여부와 관계없이 자신감 수준이 높아지는 현상을 발견했습니다. 이는 인간의 사고방식과 유사하며, LLM 평가 과정의 개선 및 LLM의 내적 확률 예측의 한계를 이해하는 데 중요한 시사점을 제공합니다.

related iamge

최근, 대규모 언어 모델(LLM)의 평가 방식에 대한 흥미로운 연구 결과가 발표되었습니다. Tairan Fu 등 연구진의 논문 "Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong" 에서는 다중 선택형 질문(MCQ)을 이용한 LLM 평가 방식에 대한 심층적인 분석을 제시합니다.

연구진은 LLM에게 질문에 대한 답을 직접 제시하도록 하는 방법과, 먼저 추론 과정을 거친 후 답을 제시하도록 하는 '사고 연쇄(chain of thought)' 방식을 비교했습니다. 놀랍게도, 후자의 경우 LLM이 정답 여부와 상관없이 자신의 답변에 대한 확신도가 더 높게 나타났습니다. 7가지 모델과 다양한 주제의 질문에 대한 평가 결과를 통해 이러한 현상이 일관되게 확인되었죠.

연구진은 이러한 결과에 대해, 추론 과정이 LLM의 답변 선택 확률을 수정하기 때문이라고 해석합니다. 즉, LLM은 질문과 그에 대한 추론 과정을 바탕으로 답을 예측하며, 이 과정에서 자신감 수준이 영향을 받는다는 것입니다. 이것은 LLM의 확률적 예측에 내재적인 한계가 있으며, 평가 과정에서 이를 고려해야 함을 시사합니다.

흥미롭게도, 이러한 현상은 인간에게서도 관찰됩니다. 인간 역시 자신의 답변에 대한 이유를 설명할 때, 그 정답에 대한 확신도가 높아지는 경향을 보입니다.

본 연구는 LLM 평가의 새로운 시각을 제공합니다. 단순히 정답률만을 평가하는 것을 넘어, LLM의 추론 과정과 자신감 수준을 함께 고려해야 함을 강조하며, 앞으로 LLM 개발 및 평가 방식에 중요한 시사점을 제공할 것으로 예상됩니다. LLM의 '자신감'이 과연 정확성을 반영하는 지표인가에 대한 추가적인 연구가 필요하며, LLM의 '자기 확신'을 어떻게 해석하고 활용해야 하는지에 대한 고민이 필요한 시점입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

Published:  (Updated: )

Author: Tairan Fu, Javier Conde, Gonzalo Martínez, María Grandury, Pedro Reviriego

http://arxiv.org/abs/2501.09775v1