RePO: 혁신적인 AI 선호도 최적화 알고리즘 등장!

본 기사는 Wu Junkang 등 연구진이 발표한 RePO(ReLU-based Preference Optimization) 알고리즘을 소개합니다. RePO는 기존 LLM 선호도 정렬 방식의 한계를 극복하고, 단일 하이퍼파라미터만으로 높은 성능을 달성하는 혁신적인 알고리즘입니다.

최근 AI 분야에서 가장 큰 화두 중 하나는 바로 대규모 언어 모델(LLM)의 인간 선호도 정렬입니다. 인간이 원하는 방향으로 AI를 조율하는 것은 안전하고 유용한 AI 시스템 구축에 필수적이죠. 하지만 기존의 강화 학습 기반 미세조정(RLHF) 방식은 계산 비용이 매우 높고, 안정성 문제도 쉽게 발생합니다. Wu Junkang 등의 연구진이 발표한 RePO (ReLU-based Preference Optimization) 는 이러한 문제점들을 해결하기 위한 획기적인 해결책을 제시합니다.

RePO는 기존의 DPO(Direct Preference Optimization)와 SimPO(Simplified Preference Optimization)의 장점을 계승하면서도 단순화된 구조를 갖습니다. 특히, SimPO는 두 개의 하이퍼파라미터 ($\beta$, $\gamma$)를 사용하여 복잡성을 가지는 반면, RePO는 단 하나의 하이퍼파라미터만으로도 동일하거나 더 나은 성능을 보입니다. 이는 어떻게 가능할까요?

RePO의 핵심은 두 가지 혁신적인 아이디어에 있습니다. 첫째, SimPO의 참조 없는 마진(reference-free margins) 개념을 유지하면서 기울기 분석을 통해 $\beta$ 매개변수를 제거했습니다. 둘째, ReLU 기반 최대 마진 손실 함수(ReLU-based max-margin loss)를 도입하여 사소한 쌍(trivial pairs)을 자연스럽게 필터링합니다. 이러한 접근 방식을 통해 RePO는 SimPO의 특별한 경우 ($\beta \to \infty$)로 해석될 수 있으며, 로지스틱 가중치가 이진 임계값으로 축소되어 0-1 손실의 볼록 껍질(convex envelope)을 형성합니다.

AlpacaEval 2와 Arena-Hard 데이터셋을 사용한 실험 결과, RePO는 다양한 기본 모델에서 DPO와 SimPO를 능가하는 성능을 보였습니다. 이는 RePO의 효율성과 강력함을 보여주는 증거입니다. 단일 하이퍼파라미터만으로 튜닝이 가능하다는 점은 실제 적용에 있어서도 매우 큰 장점입니다.

RePO의 등장은 LLM의 선호도 정렬 분야에 새로운 전기를 마련할 것으로 기대됩니다. 더욱 효율적이고 안정적인 AI 시스템 구축을 향한 중요한 발걸음이라 할 수 있습니다. 앞으로 RePO가 어떻게 발전하고 활용될지 기대하며 지켜봐야겠습니다.