AI 보상 모델 평가의 혁신: 과적합을 넘어서

본 연구는 기존 보상 모델 평가의 한계를 지적하고, 보상 과적합 개념을 도입하여 더욱 정확한 평가 방식을 제안합니다. 선택/기각 응답 간 차이 최소화, 다중 비교, 다양한 응답 출처 확보 등 세 가지 핵심 발견을 통해 보다 신뢰할 수 있는 보상 모델 평가 기준을 마련하고자 합니다. 다만, 과적합 정도가 높을수록 특정 성능과의 상관관계가 낮아질 수 있으므로, 과적합을 유용한 도구로 활용해야 함을 강조합니다.

강화학습에서 인간의 피드백을 활용하는 RLHF(Reinforcement Learning from Human Feedback)의 핵심인 보상 모델(Reward Model, RM). 하지만 기존의 RM 평가 방식은 최적화된 정책의 성능과 상관관계가 낮아, 그 정확성에 의문이 제기되어 왔습니다. 김성환, 강동진, 권태윤, 채형주, 이동하, 여진영 연구팀은 이러한 문제를 해결하기 위해 보상 과적합(Reward Overoptimization) 이라는 렌즈를 통해 새로운 평가 디자인을 제시했습니다.

보상 과적합은 보상 모델이 인간의 선호도와 얼마나 잘 맞는지, 그리고 정책에 제공하는 학습 신호의 역동성을 모두 포착하는 개념입니다. 연구팀은 이를 통해 다음과 같은 세 가지 중요한 발견을 제시했습니다.

1. 차이 최소화: 단순히 정답/오답 여부를 넘어, 선택된 응답과 기각된 응답 간의 차이를 최소화하는 것이 중요합니다. 즉, 단순히 정답률만 높이는 것이 아니라, 인간의 미묘한 선호도까지 반영해야 함을 의미합니다.

2. 다중 비교: 다양한 선택 및 기각된 응답에 대한 여러 비교를 통해 보상 모델을 평가해야 합니다. 단일 지표로 평가하는 것이 아닌, 다각적인 평가가 필요하다는 것을 강조합니다.

3. 다양한 출처: 보상 모델은 다양한 표현 방식의 응답을 접하므로, 다양한 모델에서 얻은 응답을 사용해야 합니다. 이는 평가의 견고성을 높이는 데 필수적입니다.

하지만 연구팀은 흥미로운 역설도 발견했습니다. 보상 과적합 정도가 매우 높을수록 특정 성능 지표와의 상관관계는 오히려 낮아질 수 있다는 것입니다. 따라서 보상 과적합 정도는 최종 목표가 아니라, 평가를 위한 유용한 도구로 활용되어야 합니다.

이 연구는 AI 분야, 특히 RLHF에서 보상 모델의 효과적인 평가 방법을 제시함으로써, 보다 안전하고 성능이 뛰어난 AI 시스템 개발에 중요한 기여를 할 것으로 기대됩니다. 과적합이라는 함정을 피하고, 진정한 인간의 선호도를 반영하는 보상 모델 개발이 앞으로 AI 발전의 중요한 과제가 될 것입니다.