넛지에 초민감한 LLM 에이전트: 인간과의 차이와 그 함의

LLM 에이전트는 인간보다 넛지에 훨씬 민감하며, 이는 간단한 프롬프트 전략 변화만으로도 영향을 받을 수 있음을 보여줍니다. 인간의 합리적 모델을 활용한 최적화된 넛지 전략이 성능 향상에 기여할 수 있으나, 복잡한 환경에서 LLM을 배포하기 전에 철저한 행동 테스트가 필수적입니다.

최근 Manuel Cherep, Pattie Maes, Nikhil Singh의 연구 논문 "LLM Agents Are Hypersensitive to Nudges"가 LLM(대규모 언어 모델) 에이전트의 놀라운 특징을 밝혀냈습니다. 복잡한 현실 세계 환경에서 순차적 의사결정과 도구 사용을 하는 LLM 에이전트는 인간 사용자를 대신하여 선택을 합니다. 하지만 이러한 선택의 분포와 다양한 선택 구조(choice architectures)에 대한 민감도에 대해서는 알려진 바가 거의 없었습니다.

연구팀은 다속성 표 형태의 의사결정 문제를 통해 몇몇 LLM 모델을 대상으로 기존의 '넛지'(예: 기본 옵션, 제안, 정보 강조)와 추가적인 프롬프팅 전략을 실험했습니다. 흥미롭게도, LLM 에이전트는 인간의 선택 분포와 표면적으로 유사하지만, 미묘하지만 중요한 차이점을 보였습니다.

첫째, LLM은 인간보다 넛지에 훨씬 더 민감하게 반응했습니다. 둘째, 획득 가능한 보상의 특성에 따라 성과가 크게 달라졌습니다. 셋째, 정보 획득 전략에서도 차이를 보였습니다. 과도한 정보를 얻기 위해 상당한 비용을 지불하거나, 아무런 정보도 얻지 않고 선택하는 경우도 관찰되었습니다.

더욱 놀라운 것은, '제로샷 사고 연쇄(zero-shot chain of thought, CoT)'와 같은 간단한 프롬프팅 전략만으로도 LLM 에이전트의 선택 분포를 바꿀 수 있다는 점입니다. 인간 데이터를 활용한 퓨샷 프롬프팅(few-shot prompting)은 LLM과 인간의 의사결정을 더욱 일치시키는 데 도움이 될 수 있었습니다. 하지만 이러한 방법들로도 LLM의 넛지에 대한 민감성을 완전히 해결할 수는 없었습니다.

마지막으로, 연구팀은 인간의 자원 합리적 모델(resource-rational model)을 이용하여 최적화된 넛지를 통해 일부 LLM 모델의 성능을 향상시킬 수 있음을 보여주었습니다.

이러한 모든 결과는 복잡한 환경에서 사용자를 대신하여 행동하는 에이전트나 어시스턴트로 LLM 모델을 배포하기 전에 반드시 행동 테스트가 필요함을 시사합니다. LLM 에이전트의 '넛지' 민감성은 AI 시스템 개발 및 배포에 있어 중요한 고려 사항이 되어야 합니다. 이는 단순한 기술적 문제를 넘어, 윤리적, 사회적 함의를 가지는 문제입니다.