희소와 밀집의 만남: 계단식 희소-밀집 표현을 활용한 통합 생성 추천 시스템 COBRA

양 유하오 등 11명의 연구진이 개발한 COBRA 프레임워크는 희소 및 밀집 표현을 통합하여 추천 시스템의 정확도와 효율성을 크게 향상시켰으며, 실제 광고 플랫폼에서의 성공적인 A/B 테스트를 통해 그 실용성을 입증했습니다.

최근 생성 모델이 추천 시스템 분야에서 주목받고 있습니다. 사용자의 상호작용 순서로부터 직접 아이템 식별자를 예측하는 방식이죠. 하지만 기존 방법들은 양자화 및 시퀀스 모델링과 같은 단계의 분리로 인해 상당한 정보 손실이 발생하여 순차적 밀집 검색 기법의 정밀도와 정확도를 달성하는 데 어려움을 겪었습니다. 생성 모델과 밀집 검색 기법의 통합은 여전히 중요한 과제였습니다.

양 유하오 등 11명의 연구진은 이러한 문제를 해결하기 위해 계단식 조직 이중 표현 생성 검색(Cascaded Organized Bi-Represented generAtive retrieval, COBRA) 프레임워크를 도입했습니다. COBRA는 혁신적으로 희소 의미 ID와 밀집 벡터를 계단식 프로세스를 통해 통합하는데, 먼저 희소 ID를 생성한 후 이를 조건으로 사용하여 밀집 벡터를 생성하는 방식입니다.

핵심은 무엇일까요? COBRA는 희소 ID 생성과 밀집 벡터 생성을 번갈아 수행하며, 엔드투엔드 학습을 통해 밀집 표현을 동적으로 개선하여 사용자-아이템 상호작용으로부터 의미적 통찰력과 협업 신호를 모두 포착합니다. 추론 과정에서는 희소 ID 생성부터 시작하여 생성 모델을 통해 밀집 벡터로 개선하는 '거친 것에서 미세한 것으로' 전환하는 전략을 사용합니다. 또한, 빔 서치와 최근접 이웃 점수를 결합한 BeamFusion이라는 혁신적인 접근 방식을 제안하여 추론 유연성과 추천 다양성을 향상시켰습니다.

공개 데이터셋에 대한 광범위한 실험과 오프라인 테스트를 통해 COBRA의 강력함을 검증했습니다. 더 나아가, 하루 2억 명이 넘는 사용자를 보유한 실제 광고 플랫폼에서의 온라인 A/B 테스트를 통해 주요 지표에서 상당한 개선을 확인하여 COBRA의 실용적인 장점을 부각했습니다. 이는 단순한 이론적 성과를 넘어 실제 서비스에 적용 가능한 기술임을 의미하는 중요한 결과입니다. COBRA는 추천 시스템의 미래를 새롭게 정의할 잠재력을 지닌 혁신적인 기술로 평가됩니다. 이는 단순히 기술적 진보를 넘어, 사용자에게 더욱 개인화되고 정확한 추천 서비스를 제공하는 데 기여할 것으로 기대됩니다.