알리페이 검색의 혁신: LLM 기반 생성 검색의 환각 문제 해결

본 기사는 알리페이 연구진이 개발한 LLM 기반 생성 검색의 환각 문제 해결 프레임워크에 대해 소개합니다. 지식 증류 추론과 의사결정 에이전트를 활용하여 검색 정확도를 높이고, 실제 데이터셋과 온라인 A/B 테스트를 통해 그 효과를 검증했습니다.

최근 대규모 언어 모델(LLM) 기반 생성 검색(GR)이 문서 검색 분야에 혁명을 일으키고 있으며, 알리페이와 같은 산업계에서도 점차 채택되고 있습니다. 하지만 LLM 기반 GR은 때때로 환각(hallucination) 현상을 일으켜 질의와 관련 없는 문서를 생성하는 문제점을 안고 있습니다. 이는 실제 응용에서 신뢰성에 심각한 문제를 야기합니다.

Shen 등 (2025)의 연구는 이러한 문제를 해결하기 위해 혁신적인 GR 프레임워크를 제안합니다. 이 프레임워크는 모델 훈련에 지식 증류 추론을 통합하고, 검색 정확도를 더욱 향상시키기 위해 의사결정 에이전트를 도입했습니다. 구체적으로, LLMs를 활용하여 GR에서 검색된 질의-문서(q-d) 쌍을 평가하고 추론하며, 이 추론 데이터를 지식으로 증류하여 GR 모델에 전달합니다. 또한, 후처리 단계에서 의사결정 에이전트를 사용하여 GR 검색된 문서를 검색 모델을 통해 확장하고, 여러 관점에서 가장 관련성이 높은 문서를 최종 생성 검색 결과로 선택합니다.

연구팀은 실제 데이터셋을 사용한 광범위한 오프라인 실험과 알리페이의 펀드 검색 및 보험 검색에 대한 온라인 A/B 테스트를 통해 이 프레임워크의 우수성과 효과를 입증했습니다. 그 결과, 검색 품질 향상과 전환율 증가를 달성했습니다. 이는 LLM 기반 생성 검색의 실용성을 한 단계 끌어올리는 중요한 성과입니다.

이 연구는 LLM 기반 시스템의 한계를 극복하고 실제 응용에 적용 가능성을 높이는 데 기여할 뿐만 아니라, 향후 LLM 기반 검색 기술 발전에 중요한 이정표를 제시할 것으로 기대됩니다. 알리페이의 성공적인 사례는 다른 산업 분야에서도 LLM 기반 생성 검색 기술의 도입을 가속화할 것으로 예상됩니다. 하지만, 환각 현상의 완벽한 해결은 아직 과제로 남아 있으며, 지속적인 연구개발이 필요합니다.

핵심 연구진: Yedan Shen, Kaixin Wu, Yuechen Ding, Jingyuan Wen, Hong Liu, Mingjie Zhong, Zhouhan Lin, Jia Xu, Linjian Mo