혁신적인 선호도 최적화: 대조 발산을 활용한 보상 모델 최적화

Zhuotong Chen 등 연구진은 선호도 최적화(PO) 문제에 대한 혁신적인 해결책을 제시했습니다. 음의 로그 가능도(NLL) 최소화를 통해 PO를 공식화하고 대조 발산(CD) 기반의 몬테카를로(MC) 샘플링 전략을 적용하여 기존 최고 성능을 뛰어넘는 MC-PO 및 OnMC-PO 알고리즘을 개발했습니다.

최근 인공지능 분야에서 선호도 최적화(Preference Optimization, PO)는 핵심적인 연구 주제로 떠오르고 있습니다. 기존의 PO 연구는 주로 사람 또는 AI가 평가한 점수를 기반으로, 선호하는 결과와 비선호하는 결과 간의 차이를 최대화하는 단순한 휴리스틱에 의존해왔습니다. 하지만 이러한 휴리스틱 방식은 이론적 정당성이 부족하다는 한계를 가지고 있었습니다.

Zhuotong Chen 등 연구진이 발표한 논문, "Preference Optimization via Contrastive Divergence: Your Reward Model is Secretly an NLL Estimator"는 이러한 한계를 극복하는 획기적인 연구 결과를 제시합니다. 이 논문에서 연구진은 PO를 확률 모델의 음의 로그 가능도(Negative Log-Likelihood, NLL)를 최소화하는 문제로 공식화했습니다. 그리고 이 NLL의 정규화 상수를 샘플링 전략을 통해 추정하는 방법을 제안했습니다. 흥미롭게도, 이 추정 샘플들이 PO에서 '비선호' 완성본으로 작용할 수 있다는 것을 보였습니다.

연구진은 대조 발산(Contrastive Divergence, CD)을 샘플링 전략으로 채택하여 매개변수화된 보상 모델에 대해 어려운 음성 데이터(hard negatives)를 샘플링하는 새로운 MC-PO 알고리즘을 제안했습니다. 여기서 MC는 몬테카를로(Monte Carlo)를 의미합니다. 더 나아가, 온라인 환경에서도 적용 가능한 OnMC-PO 알고리즘을 개발하여, 기존 최고 성능(State-of-the-Art, SOTA) 기준 모델들을 뛰어넘는 성능을 달성했습니다. 이는 다양한 선호도 정렬 벤치마크에서 검증되었습니다.

이 연구의 핵심적인 기여는 다음과 같습니다.

• 이론적 기반 강화: PO를 NLL 최소화 문제로 공식화하여 이론적 정당성을 확보했습니다.
• 효율적인 샘플링 전략: CD 기반의 MC 샘플링을 통해 효과적으로 '비선호' 샘플을 생성합니다.
• 온라인 적용 가능성: OnMC-PO 알고리즘을 통해 온라인 환경에서도 우수한 성능을 발휘합니다.
• SOTA 성능 달성: 다양한 벤치마크에서 기존 최고 성능을 능가하는 결과를 보여줍니다.

이 연구는 PO 분야의 발전에 크게 기여할 뿐만 아니라, 더욱 효율적이고 이론적으로 탄탄한 AI 시스템 개발에 중요한 발걸음을 내딛었다고 평가할 수 있습니다. 특히, 온라인 환경에서의 적용 가능성은 실제 응용 분야에서의 활용 가능성을 높여줍니다. 향후 연구에서는 다양한 응용 분야에 대한 OnMC-PO 알고리즘의 확장 및 실제 데이터셋 적용 연구가 기대됩니다.