HF4Rec: 인간과 같은 피드백 기반 최적화 프레임워크로 설명 가능한 추천 시스템의 새 지평을 열다

HF4Rec은 LLM을 활용한 인간 피드백 시뮬레이션과 Pareto 최적화, off-policy 학습 등 혁신적인 기법을 통해 설명 가능한 추천 시스템의 성능을 크게 향상시킨 프레임워크입니다. 높은 노동 비용 없이 인간 중심의 요구 사항을 충족하고, 다양한 관점의 품질 개선을 효율적으로 달성합니다.

설명 가능한 추천 시스템(Explainable Recommendation) 분야는 최근 괄목할 만한 발전을 이루었습니다. 사용자에게 추천 이유를 명확히 제시함으로써 사용자 경험을 크게 향상시켰습니다. 하지만 기존 방법들은 희소한 상호 작용 데이터에서 기존의 지도 학습 패러다임에 의존하기 때문에, 생성된 설명이 더 나은지 또는 더 나쁜지에 대한 효과적인 피드백 신호를 제공하는 데 어려움을 겪었습니다.

이러한 문제를 해결하기 위해 등장한 것이 바로 HF4Rec(Human-Like Feedback-Driven Optimization Framework) 입니다. Jiakai Tang 등 6명의 연구원이 개발한 이 프레임워크는 높은 노동 비용 없이 인간 중심의 설명 가능한 추천 요구 사항을 충족하기 위해 동적 상호 작용 최적화 메커니즘을 채택했습니다.

핵심은 대규모 언어 모델(LLM) 을 인간 시뮬레이터로 활용하여 인간과 유사한 피드백을 예측하고, 이를 학습 과정에 반영하는 것입니다. 단순한 피드백 예측을 넘어, LLM이 과제의 본질을 깊이 이해하고 사용자의 다양한 개인화된 요구 사항을 충족하도록 인간 유도 맞춤형 보상 점수 방법을 도입했습니다. 이는 LLM의 언어 이해 및 논리적 추론 능력을 향상시키는 데 중요한 역할을 합니다.

설명 품질에 대한 다양한 관점 간의 상충 가능성을 고려하여, 연구팀은 원칙에 기반한 Pareto 최적화를 도입했습니다. 이를 통해 다양한 관점의 품질 향상 과제를 다중 목표 최적화 문제로 변환하여 설명 성능을 개선했습니다. 마지막으로 효율적인 모델 훈련을 위해 off-policy 최적화 파이프라인을 설계하여 재생 버퍼를 통합하고 데이터 분포 편향을 해결함으로써 데이터 활용도를 높이고 모델의 일반화 능력을 향상시켰습니다.

네 개의 데이터 세트에 대한 광범위한 실험 결과는 HF4Rec의 우수성을 입증했습니다. 이는 설명 가능한 추천 시스템 분야에 새로운 이정표를 세운 쾌거라 할 수 있습니다. 향후 연구에서는 더욱 다양한 상황과 사용자 요구에 적응할 수 있도록 HF4Rec의 확장성을 높이는 연구가 기대됩니다.