생성형 AI, 과연 인간처럼 행동할 수 있을까? 실험 결과 분석

대규모 언어 모델(LLM)이 경제 시장 실험에서 인간의 행동을 모방하는 능력을 평가한 연구 결과, LLM은 제한된 합리성을 보이며 인간과 유사한 경향을 나타내지만, 행동의 다양성 측면에서는 차이를 보인다는 것을 밝혔습니다. 이는 LLM이 경제적 맥락에서 인간 행동 시뮬레이션 도구로 활용될 가능성을 시사하지만, 정확도 향상과 행동 다양성 증대를 위한 추가 연구가 필요함을 의미합니다.

생성형 AI, 인간 행동 모방의 가능성을 탐구하다

최근, R. Maria del Rio-Chanona, Marco Pangallo, Cars Hommes 세 연구원이 발표한 논문 "Can Generative AI agents behave like humans? Evidence from laboratory market experiments"는 생성형 AI, 특히 대규모 언어 모델(LLM)이 경제 시장 실험에서 인간의 행동을 얼마나 잘 모방하는지에 대한 흥미로운 결과를 제시합니다.

기존 연구와 달리, 이 연구는 LLM 에이전트 간의 동적 피드백에 초점을 맞췄습니다. 즉, 각 LLM의 결정이 현재 시장 가격에 영향을 미치고, 이는 다시 다음 단계에서 다른 LLM의 결정에 영향을 주는 구조입니다. 연구진은 LLM의 행동을 실험실 환경에서 관찰된 시장 역학 및 인간 참가자의 행동과 비교 분석했습니다.

LLM: 인간과 유사한 제한된 합리성

결과는 놀랍습니다. LLM은 완전한 합리적 기대를 따르지 않고, 제한된 합리성을 보였습니다. 이는 인간 참가자와 유사한 특징입니다. 특히, 과거 3단계의 시간 정보만을 제공하는 최소한의 맥락 창과 응답의 이질성을 포착하는 높은 변동성 설정을 통해 LLM은 인간 실험에서 관찰되는 긍정적 및 부정적 피드백 시장 간의 차이와 같은 주요 경향을 재현할 수 있었습니다.

하지만 세부적인 측면에서는 차이가 존재합니다. LLM은 인간보다 행동의 이질성이 덜했습니다. 즉, 인간은 다양한 반응을 보이지만 LLM은 상대적으로 균일한 반응을 보였다는 의미입니다.

AI, 경제 시장 분석의 새로운 도구로써의 가능성

이 연구는 LLM이 경제적 맥락에서 현실적인 인간 행동을 시뮬레이션하는 도구로서의 가능성을 보여줍니다. 하지만 정확도를 높이고 행동의 다양성을 증가시키기 위한 추가 연구가 필요하다는 점을 강조합니다. LLM이 경제 시장 분석에 활용될 가능성에 대한 기대와 함께, 더욱 정교한 모델 개발을 위한 지속적인 연구가 필요함을 시사하는 결과입니다. 향후 AI가 경제학 연구에 어떻게 기여할지, 또 그 한계는 무엇인지에 대한 깊이 있는 논의가 필요할 것으로 보입니다.