LLM 기반 전자상거래 검색의 혁신: LREF 프레임워크 등장

Tian Tang 등의 연구팀이 개발한 LLM 기반 전자상거래 검색 관련성 프레임워크 LREF는 데이터 선택 기반 SFT, Multi-CoT 조정, DPO를 통해 기존 BERT 모델의 한계를 극복하고, 오프라인 및 온라인 실험에서 성능 향상을 입증하며 실제 전자상거래 애플리케이션에 적용되어 상당한 사업적 이익을 가져왔습니다.

전자상거래에서 사용자 경험을 원활하게 하기 위한 핵심 요소는 바로 질의와 상품의 관련성 예측입니다. 기존의 BERT 기반 모델들은 의미론적 관련성 평가에 주력해왔지만, 차별적 패러다임과 제한적인 지식 용량으로 인해 질의와 상품 간의 관련성을 완벽하게 이해하는 데 어려움을 겪었습니다.

하지만, 최근 대규모 언어 모델(LLM) 의 급속한 발전으로 산업 검색 시스템에 LLM을 적용하려는 연구가 활발해지고 있습니다. LLM은 방대한 세계 지식과 유연한 추론 과정 최적화 기능을 제공하기 때문입니다. 그러나 LLM을 직접 관련성 예측에 활용하면 데이터 품질에 대한 높은 요구, 꼼꼼한 추론 과정 최적화, 그리고 과도한 재현율(over-recall)로 이어질 수 있는 낙관적 편향 등 새로운 과제들이 발생합니다.

이러한 문제를 해결하기 위해, Tian Tang 등 8명의 연구자는 LLM 기반 관련성 프레임워크(LREF) 를 제안했습니다. LREF는 다음과 같은 세 단계로 구성됩니다.

1. 데이터 선택을 통한 지도학습 미세조정(SFT): 더욱 효과적인 학습을 위해 데이터를 신중하게 선택하여 LLM을 미세 조정합니다.
2. 다중 사고 과정(Multi-CoT) 조정: LLM의 추론 능력을 향상시키기 위해 다양한 사고 과정을 활용하여 모델을 조정합니다. 이는 더욱 정교한 관련성 판단을 가능하게 합니다.
3. 편향 제거를 위한 직접적 선호도 최적화(DPO): 과도한 재현율을 방지하고 결과의 정확성을 높이기 위해, 직접적인 선호도 최적화를 통해 모델의 편향을 제거합니다.

연구팀은 대규모 실제 데이터셋을 이용한 오프라인 실험과 온라인 A/B 테스트를 통해 LREF의 성능을 평가했습니다. 그 결과, 오프라인 및 온라인 지표 모두에서 상당한 성능 향상을 확인했고, 실제 전자상거래 애플리케이션에 배포하여 상당한 사업적 이익을 창출하는 데 성공했습니다. 이는 LLM이 전자상거래 검색 분야에 혁신을 가져올 수 있음을 보여주는 중요한 결과입니다.

결론적으로, LREF는 LLM의 강점을 활용하여 전자상거래 검색 관련성 예측의 정확도를 높이고 사용자 경험을 향상시키는 획기적인 프레임워크입니다. 앞으로 LLM 기반 검색 기술의 발전과 전자상거래 플랫폼 개선에 큰 영향을 미칠 것으로 예상됩니다.