HydraRec: 시퀀스 추천의 혁신, 효율적인 어텐션 메커니즘의 등장


HydraRec은 기존 트랜스포머 기반 추천 시스템의 계산 복잡도 문제를 해결한 효율적인 모델로, 다양한 평가 지표에서 우수한 성능을 입증했습니다. Uzma Mushtaque에 의해 제안된 이 모델은 시퀀스 길이가 길고 데이터셋이 큰 추천 시스템의 효율성과 성능 향상에 크게 기여할 것으로 예상됩니다.

related iamge

HydraRec: 시퀀스 추천의 혁신, 효율적인 어텐션 메커니즘의 등장

최근 트랜스포머 기반 모델이 다양한 분야에서 활용되고 있으며, 추천 시스템(RS)도 예외는 아닙니다. BERT와 같은 사전 훈련된 트랜스포머 모델은 언어 모델링에서 뛰어난 성능을 보여주었고, BERT4Rec, SASRec 등 인코더 전용 모델 변형들은 순차적 RS 문제에서 성공을 거두었습니다.

하지만 기존 트랜스포머 모델의 어텐션 메커니즘은 시퀀스 길이에 따라 계산 복잡도가 제곱적으로 증가하는 문제가 있습니다. 이는 추천 시스템에서 특히 심각한데, 언어 모델과 달리 추천 시스템의 상품 카탈로그는 매일 새로운 아이템이 추가되기 때문입니다. 사용자의 구매 이력은 여러 요인에 따라 변화하는 동적인 시퀀스입니다.

이러한 문제를 해결하기 위해, 최근 시퀀스 길이에 대해 선형적인 복잡도를 갖는 다양한 선형 어텐션 모델이 제안되었습니다. 비전 트랜스포머를 위해 제안된 Hydra 어텐션은 토큰 수와 모델 임베딩 차원 모두에서 어텐션 계산의 복잡도를 줄이는 선형 복잡도 모델 중 하나입니다.

Uzma Mushtaque는 Hydra 어텐션의 아이디어를 기반으로, 효율적인 트랜스포머 기반 순차적 RS 모델인 HydraRec을 제안했습니다. HydraRec은 더 긴 시퀀스와 더 큰 데이터셋에 대해 어텐션 계산의 이론적 복잡도를 크게 개선하면서 시간적 맥락을 유지합니다. 다양한 평가 지표를 사용하여 다른 선형 트랜스포머 기반 RS 모델과 비교한 결과, HydraRec은 순차적 추천 다음 아이템 예측 작업에서 다른 선형 어텐션 기반 모델뿐만 아니라 점곱 어텐션 기반 모델보다도 우수한 성능을 보였습니다. 양방향 모델의 경우, BERT4Rec 모델과 비슷한 성능을 보이면서 실행 시간이 향상되었습니다.

HydraRec은 추천 시스템의 효율성과 성능을 동시에 향상시킨 획기적인 모델로, 대규모 데이터셋을 다루는 추천 시스템의 발전에 크게 기여할 것으로 기대됩니다. 향후 연구에서는 HydraRec의 적용 범위를 더욱 확장하고, 다양한 추천 시스템 문제에 대한 적용 가능성을 탐구하는 것이 중요할 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] An Efficient Attention Mechanism for Sequential Recommendation Tasks: HydraRec

Published:  (Updated: )

Author: Uzma Mushtaque

http://arxiv.org/abs/2501.01242v1