놀라운 AI의 한계: 대규모 언어 모델은 게임을 잘 못한다?!

Alicia Vidler과 Toby Walsh의 연구는 LLM이 가위바위보와 죄수의 딜레마 게임에서 예상치 못한 결과를 보이며, 무작위성과 전략적 의사결정 능력의 한계를 드러냈습니다. LLM의 손실 회피 전략과 편향된 무작위성은 향후 LLM 개발 방향에 대한 중요한 시사점을 제공합니다.

놀라운 AI의 한계: 대규모 언어 모델은 게임을 잘 못한다?!

최근, Alicia Vidler와 Toby Walsh가 공동 집필한 논문 "Playing games with Large language models: Randomness and strategy" 가 학계의 주목을 받고 있습니다. 이 논문은 대규모 언어 모델(LLM)의 게임 플레이 능력, 특히 무작위성과 전략적 적응력에 초점을 맞추고 있습니다. 연구진은 GPT-4o-Mini-2024-08-17을 사용하여 가위바위보(RPS)와 죄수의 딜레마(PD) 게임을 통해 LLM의 능력을 실험했습니다.

흥미롭게도, 연구 결과는 LLM이 게임을 할 수는 있지만, 그리 잘하지는 못한다는 점을 보여줍니다. LLM은 종종 '확률적 앵무새'로 묘사되지만, 무작위적인 결과를 생성하도록 프롬프트를 주었을 때, 실제로는 매우 편향된 결과를 보이는 것으로 나타났습니다. 즉, '진정한' 무작위성을 구현하는 데 어려움을 겪는다는 것입니다.

더욱 놀라운 것은, 반복되는 게임에서 LLM이 손실 회피 전략을 개발하는 경향을 보였다는 점입니다. 가위바위보 게임에서는 결국 무승부 상황으로 귀결되었고, 죄수의 딜레마 게임에서는 프롬프트 디자인에 따라 협력적인 결과와 경쟁적인 결과 사이를 오가는 체계적인 변화를 보였습니다. 이는 LLM이 단순히 규칙을 따르는 것이 아니라, 어느 정도의 전략적 사고를 시도한다는 것을 의미하지만, 그 수준이 아직 미흡하다는 것을 보여줍니다.

연구진은 독립적인 에이전트 상호 작용을 위한 프로그래밍 도구와 에이전트 AI 구현 과정에서 직면하는 과제들을 자세히 설명합니다. 이 연구는 다중 에이전트 LLM 시스템에서 LLM의 활용에 대한 시사점을 제공하며, 전략적 의사결정을 위한 현재의 모델 출력 방식의 한계를 보여줍니다. 즉, 현재의 LLM은 복잡한 전략적 상황에 대한 완벽한 이해나 적응력을 갖추고 있지 않다는 결론입니다.

이 연구는 LLM의 발전 방향에 대한 중요한 시사점을 제공합니다. 진정한 의미의 지능을 갖춘 AI를 개발하기 위해서는 무작위성과 전략적 사고 능력의 향상이 필수적이며, 이를 위한 새로운 접근 방식이 필요함을 시사합니다. 🤔