챗봇의 환각, 웹 검색으로 잡는다: 맥락적 웹 검색 결과가 환각 탐지에 미치는 영향

대규모 언어 모델(LLM)의 환각 문제 해결을 위해 웹 검색 결과 통합의 효과성을 검증한 연구. 동적 웹 검색이 정적 검색보다 환각 탐지 및 신뢰도 향상에 효과적이며, 사용자의 인지 욕구도 중요한 요소임을 밝힘.

최근 급속도로 발전하는 인공지능, 특히 대규모 언어 모델(LLM)은 우리 생활 곳곳에 스며들고 있습니다. 하지만 LLM은 때때로 사실과 다른 정보, 즉 '환각(hallucination)'을 생성하는 문제를 안고 있습니다. 이 환각은 심각한 결과를 초래할 수 있기에, 그 해결책이 절실히 요구됩니다.

마흐자빈 나하르를 비롯한 연구팀은 최근 발표한 논문, “Catch Me if You Search: When Contextual Web Search Results Affect the Detection of Hallucinations” 에서 LLM에 웹 검색 기능을 통합하면 환각 문제를 어떻게 해결할 수 있는지에 대한 흥미로운 연구 결과를 제시했습니다. 연구팀은 560명의 참가자를 대상으로, LLM이 생성한 정보(진짜, 약한 환각, 강한 환각)에 대한 참가자들의 정확도 인식과 신뢰도를 웹 검색 결과 제공 여부에 따라 비교 분석했습니다. 웹 검색 결과는 정적(고정된 검색 결과) 과 동적(참가자 주도 검색) 두 가지 조건으로 나뉘어 제공되었습니다.

연구 결과는 놀라웠습니다. 정적 및 동적 검색 결과 조건 모두 대조군(검색 결과 없음)에 비해 환각 정보에 대한 정확도 평가가 낮게 나타났습니다. 하지만 더욱 주목할 점은, 동적 검색 결과 조건의 참가자들이 진짜 정보에 대한 정확도 평가가 더 높았고, 전반적인 신뢰도 또한 더 높았다는 것입니다. 이는 참여자들이 직접 검색을 통해 정보를 검증하는 과정이 환각 탐지에 훨씬 효과적임을 시사합니다.

또한, 연구팀은 참가자들의 인지 욕구(NFC) 수준에 따라 환각 탐지 능력의 차이가 있음을 발견했습니다. 높은 NFC를 가진 참가자들은 낮은 NFC 참가자들에 비해 강한 환각 정보에 대한 정확도 평가가 훨씬 낮았습니다. 반면 진짜 정보나 약한 환각 정보에 대한 평가에는 차이가 없었습니다. 이는 사용자 특성을 고려한 보다 정교한 시스템 개발의 필요성을 보여줍니다.

이 연구는 LLM에 웹 검색 기능을 통합하는 것이 환각 문제 해결에 효과적임을 보여주는 중요한 증거입니다. 특히, 사용자의 능동적인 참여를 유도하는 동적 검색 기능의 중요성을 강조하며, 사용자 중심의 인공지능 시스템 개발에 대한 새로운 방향을 제시하고 있습니다. 앞으로 LLM의 신뢰성을 높이고 안전하게 사용하기 위해서는 사용자의 인지 능력과 능동적인 참여를 고려한 설계가 필수적일 것입니다. 단순히 정보의 정확성만을 고려하는 것이 아니라, 사용자 경험과 신뢰도를 함께 고려해야 하는 시대가 온 것입니다.