획기적인 AI 추론 평가법 등장: 연역적 일관성 척도로 LLM의 약점 파헤치다

본 기사는 Atharva Pandey 등 연구진이 발표한 논문 "DeduCE: Deductive Consistency as a Framework to Evaluate LLM Reasoning"을 바탕으로, 대규모 언어 모델(LLM)의 추론 능력 평가에 대한 새로운 척도인 '연역적 일관성'을 소개합니다. 새로운 척도를 통해 LLM의 추론 오류 원인을 분석하고, 입력 전제의 길이와 추론 단계 수가 LLM의 정확도에 미치는 영향을 정량적으로 분석하는 연구 결과를 상세히 다룹니다.

AI 추론의 새로운 지평: 연역적 일관성 척도

최근 몇 년 동안 눈부신 발전을 거듭해 온 대규모 언어 모델(LLM)은 올림피아드 수준의 추론 문제에서 놀라운 성능을 보여주고 있습니다. 하지만, Atharva Pandey 등 연구진의 새로운 논문 "DeduCE: Deductive Consistency as a Framework to Evaluate LLM Reasoning"에 따르면, 표준 벤치마크 밖의 새로운 문제, 예를 들어 고등학교 수학 문제에 적용하면 여전히 어려움을 겪는다고 합니다.

연구진은 단순히 최종 정확도를 넘어, LLM의 추론 과정(chain-of-thought) 출력을 분석하기 위한 새로운 척도인 **'연역적 일관성'**을 제안했습니다. 연역적 추론은 입력 전제를 이해하고 그로부터 결론을 도출하는 두 가지 하위 작업으로 구성됩니다. 연구진의 척도는 이러한 하위 작업에 대한 LLM의 성능을 분석하여 새로운 문제에서의 추론 오류 원인을 밝히고자 합니다. 구체적으로, LLM이 증가하는 맥락 길이에 따라 입력 전제를 얼마나 잘 이해하고, 여러 추론 단계를 거쳐 결론을 얼마나 잘 도출하는지를 평가합니다.

기존 벤치마크의 한계 극복: 혁신적인 평가 파이프라인

기존 벤치마크 문제들은 LLM이 단순히 암기한 결과일 가능성이 높다는 점을 고려하여, 연구진은 벤치마크 문제를 변형하여 LLM의 연역적 일관성을 평가하는 새로운 파이프라인을 개발했습니다. 초등 수학 문제(GSM-8k)를 이용한 실험 결과, LLM은 입력 전제의 수가 증가하더라도 상당히 견고한 성능을 유지하지만, 추론 단계 수가 증가함에 따라 정확도가 크게 저하되는 것으로 나타났습니다. 흥미롭게도, 기존 벤치마크에서는 모든 모델이 거의 100%의 정확도를 달성했으므로 이러한 오류는 드러나지 않았습니다. 합성 데이터 세트를 사용하여 해결 단계의 수를 늘리면서 실험한 결과, 여러 단계에 걸친 예측이 입력 전제의 이해보다 오류의 주요 원인임을 확인했습니다. 언어 스타일의 변화나 초기 오류의 자연스러운 전파와 같은 다른 요인들은 이러한 경향을 설명하지 못했습니다.

LLM 추론의 새로운 관점: 입력 전제와 추론 단계의 상호작용

이 연구는 LLM 추론을 입력 전제와 추론 단계의 윈도우에 대한 계산으로 특징짓는 새로운 관점을 제공합니다. 이러한 접근 방식은 다양한 문제 영역에 걸쳐 통합된 평가를 가능하게 합니다. 이는 LLM의 추론 능력을 더욱 정확하게 이해하고 향상시키기 위한 중요한 발걸음이 될 것입니다. 향후 연구에서는 다양한 문제 유형과 LLM 아키텍처에 대한 연역적 일관성 척도의 적용 및 그 한계에 대한 탐구가 필요할 것입니다. 본 연구는 LLM의 추론 능력 향상에 대한 중요한 통찰력을 제공하며, AI 분야의 지속적인 발전에 기여할 것으로 기대됩니다.