월마트의 검색 혁신: 인공지능 기반 하이브리드 검색 시스템


월마트는 역색인과 신경망 검색을 결합한 하이브리드 시스템을 통해 제품 검색의 정확도를 크게 향상시켰습니다. 대규모 모델 학습 기술과 실제 배포 전략을 함께 공개하여, 다른 기업들에게도 귀중한 시사점을 제공합니다.

related iamge

월마트의 검색 혁신: AI 기반 하이브리드 검색 시스템

온라인 쇼핑의 핵심, 바로 검색 기능입니다. 특히 긴 꼬리 키워드(tail queries)를 사용하는 복잡하고 구체적인 검색 의도를 가진 사용자에게는 더욱 중요합니다. 기존의 검색 시스템으로는 이러한 사용자의 요구를 충족시키기 어려웠습니다. 이에 월마트는 Alessandro Magnani 등 11명의 연구진이 개발한 혁신적인 검색 시스템을 도입하여 문제 해결에 나섰습니다.

이 시스템의 핵심은 기존의 역색인(inverted index)과 임베딩 기반 신경망 검색(neural retrieval)을 결합한 하이브리드 방식입니다. 역색인은 속도가 빠르지만, 긴 꼬리 키워드에 대한 이해도가 낮다는 한계가 있습니다. 반면, 신경망 검색은 문맥 이해 능력이 뛰어나지만, 처리 속도가 느릴 수 있습니다. 월마트의 하이브리드 시스템은 두 기술의 장점을 결합하여 검색 정확도를 높이고 속도 저하를 최소화했습니다.

연구진은 대규모 신경망 모델을 효율적으로 학습하는 새로운 기술을 개발하여 시스템 성능을 향상시켰습니다. 단순히 기술적인 발전을 넘어, 실제 서비스에 적용하는 과정에서의 어려움과 이를 해결한 실용적인 전략도 공개했습니다. 실제 서비스 배포 시 응답 시간에 미치는 영향을 최소화하면서, 오프라인 및 온라인 평가 모두에서 검색 관련성을 크게 개선했다는 점은 주목할 만합니다.

이 연구는 단순히 새로운 기술을 소개하는 것을 넘어, 실제 대규모 e커머스 환경에서 AI 기반 검색 시스템을 구축하고 배포하는 데 필요한 다양한 전략과 노하우를 제시하고 있습니다. 월마트의 성공 사례는 다른 e커머스 기업들에게도 중요한 시사점을 제공할 것으로 기대됩니다. 특히, 긴 꼬리 키워드 검색에 대한 고민을 안고 있는 기업들에게는 귀중한 참고 자료가 될 것입니다.


핵심 내용:

  • 하이브리드 검색 시스템: 역색인과 신경망 검색 결합
  • 대규모 신경망 모델 학습: 효율적인 학습 기술 개발
  • 실제 배포 및 최적화: 응답 시간 저하 최소화 및 성능 향상
  • 월마트 적용 사례: 오프라인 및 온라인 평가를 통한 성능 검증

*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Semantic Retrieval at Walmart

Published:  (Updated: )

Author: Alessandro Magnani, Feng Liu, Suthee Chaidaroon, Sachin Yadav, Praveen Reddy Suram, Ajit Puthenputhussery, Sijie Chen, Min Xie, Anirudh Kashi, Tony Lee, Ciya Liao

http://arxiv.org/abs/2412.04637v1