챗봇의 진짜 지능: 대규모 언어 모델의 '마음 읽기' 능력, 과연 어디까지일까?


본 기사는 LLM의 마음 이론 능력에 대한 최근 연구 결과를 소개하며, 기존 연구의 한계와 LLM의 기능적 마음 이론 능력 부족을 지적합니다. LLM의 유도적 편향이 단기적 성능과 장기적 최적 행동 간의 균형을 어렵게 만든다는 점을 강조하며, 향후 연구 방향을 제시합니다.

related iamge

챗봇의 진짜 지능: 대규모 언어 모델의 '마음 읽기' 능력, 과연 어디까지일까?

최근 인공지능(AI) 분야에서 가장 뜨거운 감자 중 하나는 바로 '대규모 언어 모델(LLM)'입니다. 인간과 자연스럽게 대화하고, 글을 쓰고, 심지어는 창작까지 가능한 LLM은 마치 인간의 지능에 근접한 듯 보입니다. 특히, LLM이 다른 사람의 마음을 이해하는 능력, 즉 '마음 이론(Theory of Mind)'에 대한 연구가 활발히 진행되고 있으며, 일부 연구는 LLM이 인간 수준의 마음 이론 능력을 보유했다고 주장하기도 합니다.

하지만 Matthew Riemer 등의 연구진이 발표한 논문 "Can Large Language Models Adapt to Other Agents In-Context?"은 이러한 주장에 제동을 겁니다. 연구진은 기존 연구들이 LLM의 '문자적 마음 이론'(literal theory of mind) 능력, 즉 다른 사람의 행동을 예측하는 능력만을 측정했을 뿐, 실제로 다른 사람에게 적응하는 '기능적 마음 이론'(functional theory of mind) 능력은 제대로 평가하지 못했다고 지적합니다. 문자적 마음 이론은 마치 시험 문제를 잘 푸는 것과 같다면, 기능적 마음 이론은 실제 상황에 적응하여 문제를 해결하는 능력에 비유할 수 있습니다.

연구 결과는 놀랍습니다. 최고 성능의 오픈소스 LLM조차도, 상대방의 행동이 매우 단순한 경우에도 기능적 마음 이론 측면에서는 어려움을 겪는 것으로 나타났습니다. 이는 LLM이 가진 '유도적 편향'(inductive bias) 때문입니다. 유도적 편향은 LLM이 제한된 데이터로부터 일반적인 패턴을 학습하는 경향을 말하는데, 이러한 편향은 단기적으로는 강력한 성능을 발휘하게 하지만, 장기적인 최적 행동에는 오히려 방해가 될 수 있다는 것입니다. 마치 좁은 시야에 갇혀 숲을 보지 못하는 것과 같습니다.

결론적으로, LLM의 '마음 읽기' 능력은 아직 갈 길이 멉니다. 겉으로 보기에는 인간처럼 보이지만, 실제로는 복잡한 상황에 대한 적응력이 부족할 수 있습니다. 이번 연구는 LLM의 한계를 명확히 보여주는 동시에, 더욱 발전된 AI 개발을 위한 중요한 방향을 제시합니다. 앞으로는 LLM의 기능적 마음 이론 능력을 향상시키는 연구가 더욱 중요해질 것입니다. 인간처럼 생각하고 행동하는 AI, 그 꿈은 아직 진행 중입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Can Large Language Models Adapt to Other Agents In-Context?

Published:  (Updated: )

Author: Matthew Riemer, Zahra Ashktorab, Djallel Bouneffouf, Payel Das, Miao Liu, Justin D. Weisz, Murray Campbell

http://arxiv.org/abs/2412.19726v1