혁신적인 보상 모델 PURM: RLHF의 미래를 엿보다

Sun 등(2025)의 연구는 확률적 불확실 보상 모델(PURM)을 제시하여 RLHF에서의 보상 해킹 문제를 해결합니다. PURM은 브래들리-테리 모델의 일반화로 불확실성을 직접 모델링하며, 불확실성 인식 페널티를 통해 보상 최적화와 탐색의 균형을 조절합니다. 실험 결과, PURM은 기존 방법보다 우수한 성능을 보였습니다.

인간 피드백 강화 학습(RLHF)은 대규모 언어 모델 훈련의 핵심 기술로 떠올랐습니다. 하지만 보상 해킹, 즉 모델이 보상 모델의 결함을 악용하는 현상은 장기간 훈련을 통한 강력하고 확장 가능한 지능을 달성하는 데 있어 여전히 큰 장벽입니다.

기존 연구에서는 보상 해킹 문제 해결을 위해 불확실한 보상 모델을 제안했지만, 이러한 모델들은 체계적이거나 이론적인 토대가 부족한 경우가 많았습니다. 선호도 데이터에서 본질적으로 발생하는 불확실성을 제대로 모델링하지 못하여 장기간 RLHF 훈련과 탐색을 지속하기 위한 보상 해킹 완화에 충분하지 못했습니다.

Sun 등(2025) 의 연구는 이러한 문제에 대한 획기적인 해결책을 제시합니다. 바로 확률적 불확실 보상 모델(PURM) 입니다. PURM은 고전적인 브래들리-테리 보상 모델을 자연스럽게 일반화한 모델로, 선호도 데이터에서 생성된 보상 분포를 직접 모델링합니다. 연구진은 Bhattacharyya 계수를 기반으로 PURM의 손실 함수와 보상 분포 불확실성 계산을 이론적으로 도출했습니다.

더 나아가, 보상 해킹을 완화하기 위해 불확실성 인식 페널티를 Proximal Policy Optimization (PPO)에 도입했습니다. 이는 학습된 불확실성을 활용하여 보상 최적화와 탐색 간의 균형을 동적으로 조절하는 혁신적인 전략입니다. PURM은 경량화되고 사용이 간편하도록 설계되었습니다. 실험 결과, PURM은 보상 해킹의 발생을 크게 지연시키는 동시에 최종 보상 성능을 향상시켜 안정성과 효과성 면에서 기존 방법들을 능가하는 것으로 나타났습니다.

PURM은 단순히 불확실성을 고려하는 것을 넘어, 이를 이론적으로 뒷받침하고 실제 성능 향상으로 입증한 혁신적인 모델입니다. 이는 RLHF의 발전에 있어 중요한 이정표가 될 것이며, 앞으로 더욱 안정적이고 강력한 인공지능 개발에 기여할 것으로 기대됩니다. 향후 연구에서는 PURM의 다양한 응용 분야와 추가적인 개선 방향을 탐색하는 것이 중요할 것입니다.