전자상거래 검색의 혁명: GRAM 모델의 등장

Ming Pang 등 11명의 연구진이 개발한 GRAM 모델은 기존 전자상거래 검색 시스템의 한계를 극복하고, LLM을 활용하여 쿼리와 상품 간의 의미적 연결성을 강화함으로써 검색 효율성을 크게 향상시켰습니다. 오프라인 및 온라인 A/B 테스트 결과, GRAM은 기존 모델들을 압도하는 성능을 보였으며, 전자상거래 검색 시스템의 새로운 패러다임을 제시했습니다.

온라인 쇼핑의 편리함 뒤에는 효율적인 검색 시스템이 존재합니다. 하지만 기존의 스파스 및 밀집 검색 방법은 일반적인 지식을 활용하는 데 어려움을 겪고, 쿼리와 상품의 미묘한 특징을 포착하지 못하는 경우가 많았습니다. Ming Pang 등 11명의 연구진이 발표한 논문 "Generative Retrieval and Alignment Model: A New Paradigm for E-commerce Retrieval"은 이러한 문제점을 해결하기 위한 획기적인 해결책을 제시합니다.

기존 방식의 한계: 낮은 재현율과 효율성

기존에는 LLM을 이용하여 정적/의미 ID 또는 상품 용어 집합과 같은 식별자를 생성하는 방식이 사용되었습니다. 하지만 정적 ID 방식은 LLM에 내재된 지식을 활용하지 못하고, 상품 용어 집합 방식은 쿼리와 상품 간의 어휘 분포 차이로 인해 재현율이 낮다는 문제점을 안고 있었습니다. 특히 속성이 많은 쿼리의 경우, 생성되는 식별자의 수가 많아져 품질 평가가 어렵고 전반적인 재현율 효율성이 떨어지는 문제가 발생했습니다.

GRAM: 쿼리와 상품의 조화로운 만남

연구진은 이러한 문제를 해결하기 위해 Generative Retrieval and Alignment Model (GRAM) 을 제안합니다. GRAM은 쿼리와 상품의 텍스트 정보를 공동으로 학습하여 공유 텍스트 식별자 코드를 생성하는 혁신적인 모델입니다. 이를 통해 쿼리와 상품 간의 의미적 연결성을 강화하고 추론 효율성을 높였습니다. 특히, 공동 정렬 전략을 통해 검색 효율을 극대화하는 코드를 생성하고, 쿼리-상품 스코어링 메커니즘을 도입하여 다양한 코드에서 상품 가치를 비교함으로써 검색 효율을 더욱 높였습니다.

놀라운 성능: 기존 모델들을 압도하다

광범위한 오프라인 및 온라인 A/B 테스트 결과, GRAM은 기존 모델 및 최신 생성 검색 모델을 능가하는 성능을 보였습니다. 이는 GRAM의 효율성과 실용성을 입증하는 중요한 결과입니다. GRAM은 단순히 검색 결과의 수를 늘리는 데 그치지 않고, 사용자의 의도를 정확하게 반영하는 검색 결과를 제공함으로써 전자상거래 경험을 한 단계 끌어올릴 것으로 기대됩니다.

미래를 향한 발걸음: 새로운 가능성의 시작

GRAM의 등장은 전자상거래 검색 시스템의 패러다임을 바꿀 잠재력을 지닙니다. 앞으로 GRAM은 더욱 발전하여 사용자 경험을 개선하고, 전자상거래 플랫폼의 경쟁력을 강화하는 데 중요한 역할을 할 것으로 예상됩니다. 이 연구는 LLM을 활용한 검색 기술 발전의 중요한 이정표가 될 뿐만 아니라, AI 기반 검색 기술의 무궁무진한 가능성을 보여주는 사례입니다.