기능적 고정성이 LLM 기반 채팅 검색의 잠재력을 가둔다: 놀라운 연구 결과

본 연구는 LLM 기반 채팅 검색에서 기능적 고정성이 사용자 상호작용을 제한하는 현상을 규명하고, 사용자의 사전 기대치와 시스템 반응 간의 상관관계를 분석하여 LLM의 효과적인 활용 방안을 제시합니다.

최근, Jiqun Liu, Jamshed Karimnazarov, Ryen W. White 세 연구원이 진행한 연구에서 흥미로운 결과가 발표되었습니다. 'Trapped by Expectations: Functional Fixedness in LLM-Enabled Chat Search' 라는 제목의 이 연구는 대규모 언어 모델(LLM) 기반 채팅 검색의 숨겨진 한계점을 밝혀냈습니다. 바로 기능적 고정성(Functional Fixedness) 입니다.

기능적 고정성이란, 사용자가 새로운 시스템이나 도구를 기존의 익숙한 방식으로만 사용하려는 인지적 편향을 말합니다. 이러한 편향은 사용자가 LLM 기반 채팅 검색의 잠재력을 온전히 활용하는 것을 방해합니다. 특히 복잡하고 탐색적인 작업에서 그 영향이 더욱 두드러집니다.

연구팀은 450명의 참가자를 대상으로 크라우드소싱 연구를 진행했습니다. 참가자들은 공공 안전, 식단 및 건강 관리, 지속 가능성, AI 윤리 등 다양한 의사결정 과제를 ChatGPT와의 대화를 통해 해결했습니다. 연구는 채팅 전 의도 기반 기대치와 실제 상호 작용을 비교 분석하여 다음과 같은 결과를 도출했습니다.

• 사전 기대치는 사용자의 과거 경험과 밀접한 관련이 있습니다. ChatGPT, 검색 엔진, 가상 비서 사용 경험이 사전 기대치에 영향을 미치고, 이는 사용자의 언어 사용 및 프롬프트 작성 행동에 반영됩니다. 자주 ChatGPT를 사용하는 사용자는 지시어(deictic terms)와 불확실성 표현(hedge words)을 줄이고 프롬프트를 자주 수정했습니다. 반면, 검색 경험이 풍부한 사용자는 구조적이고 대화적인 요소가 적은 질문을 유지하며 최소한의 수정만 했습니다. 가상 비서 사용자는 지시적인 명령형 프롬프트를 선호하여 기능적 고정성을 강화했습니다.

• 기대치가 충족되지 않을 경우, 사용자는 더욱 적극적으로 대응합니다. 시스템이 기대를 충족시키지 못하면, 참가자들은 더욱 상세하고 다양한 언어적 표현을 사용하는 프롬프트를 생성했습니다. 이는 사용자의 적응적 변화를 보여주는 중요한 지표입니다.

이 연구는 채팅 검색에서 사용자 의도의 유형을 제시하고, 더욱 창의적이고 분석적인 LLM 사용을 지원하기 위해 기능적 고정성을 완화하는 것이 중요함을 강조합니다. LLM의 잠재력을 극대화하기 위해서는 사용자의 기대치를 이해하고, 시스템 설계 및 지원 방식에 대한 새로운 접근이 필요하다는 것을 시사합니다. 결국, 기술의 발전만큼이나 사용자 경험에 대한 이해와 고려가 중요하다는 것을 다시 한번 일깨워주는 연구 결과입니다.