깨지기 쉬운 지능: 잡음 속에서 길을 잃는 거대 언어 모델의 귀납적 추론

본 연구는 거대 언어 모델(LLM)의 귀납적 추론 능력이 잡음이 있는 데이터에 취약하다는 것을 밝히고, 이를 개선하기 위한 새로운 방법론을 제시합니다. 실험 결과, LLM은 패턴에 과도하게 의존하며, 진정한 추상화 능력은 부족함을 드러냅니다.

인간의 인지 능력의 핵심인 귀납적 추론. 제한된 데이터에서 일반화를 이끌어내는 놀라운 능력이죠. 하지만 이 능력은 아직 거대 언어 모델(LLM)에게 완벽히 구현되지 않았습니다. Li Chunyang 등 연구진은 최근 논문, “Patterns Over Principles: The Fragility of Inductive Reasoning in LLMs under Noisy Observations” 에서 이러한 LLM의 취약점을 날카롭게 파고들었습니다.

잡음 속에서 흔들리는 추론

LLM은 복잡한 추론 과제에서 뛰어난 성능을 보여주지만, 불완전한 관측값 아래에서 안정적이고 일관된 규칙을 추출하는 능력은 아직 미지의 영역입니다. 연구진은 이를 해결하기 위해 '강건한 규칙 유도'라는 새로운 과제를 제시했습니다. 이는 잡음이 섞인 데이터로부터 규칙을 유추하는 능력을 평가하는 척도입니다.

더 나아가, 연구진은 '샘플 기반 규칙 개선(SRR)'이라는 새로운 방법론을 제안했습니다. 관측값의 다양화와 실행 기반 피드백을 통해 추론의 안정성을 높이는 것이 핵심입니다. 산술, 암호화, 리스트 함수 등 다양한 분야에서 실험을 진행한 결과는 놀라웠습니다.

실험 결과: 패턴에 대한 과도한 의존

1. SRR은 잡음이 있는 환경에서도 다른 방법들보다 뛰어난 성능을 보였습니다. 잡음에도 불구하고 성능 저하를 최소화했죠.
2. 하지만, 정확도 변화가 미미하더라도 (예: 일관된 점수 70%에서 정확도 0% 변화), LLM은 잡음에 매우 민감하게 반응하며 불안정한 모습을 보였습니다.
3. 반사실적 과제 분석 결과, LLM이 진정한 추상화보다는 기억된 패턴에 과도하게 의존한다는 사실을 확인했습니다. 이는 LLM이 단순히 패턴을 외우는 수준에 머물러 있으며, 진정한 이해나 추상화 능력은 부족하다는 것을 시사합니다.

결론: 인간과 같은 귀납적 추론 시스템을 향한 여정

이 연구는 LLM의 추론 능력의 강건성에 대한 의문을 제기합니다. 가설의 변화(hypothesis drift)와 패턴 과적합(pattern overfitting)에 취약하다는 것을 보여주는 중요한 증거를 제시했습니다. 진정으로 인간과 같은 귀납적 추론 시스템을 개발하기 위해서는 이러한 취약점을 극복하는 노력이 필수적입니다. 연구진이 공개한 코드와 데이터는 https://github.com/lcy2723/Robust-Rule-Induction 에서 확인할 수 있습니다.