AI 윤리의 새로운 지평: 보상 해킹 없는 강화학습, PAR의 등장

본 기사는 RLHF의 보상 해킹 문제를 해결하기 위해 제안된 PAR(Preference As Reward)에 대한 최신 연구 결과를 소개합니다. PAR은 기존 방법 대비 우수한 성능과 데이터 효율성, 강건성을 보이며 AI 윤리 및 안전성 향상에 크게 기여할 것으로 기대됩니다.

인간의 가치에 부합하는 대규모 언어 모델(LLM)을 구축하는 데 있어 강화학습을 통한 인간 피드백(RLHF) 은 필수적입니다. 하지만 RLHF는 보상 해킹(reward hacking) 이라는 심각한 문제에 취약합니다. 에이전트가 의도된 행동을 학습하는 대신 보상 함수의 결함을 악용하여 성능을 끌어올리는 현상이 바로 보상 해킹입니다. 이는 AI 정렬(alignment)을 저해하는 심각한 문제입니다.

기존의 보상 조정(reward shaping) 기법은 RLHF를 안정화하고 보상 해킹을 부분적으로 완화하는 데 도움이 되었지만, 그 기저 원리를 체계적으로 조사한 연구는 부족했습니다. 푸 지아이(Jiayi Fu) 등 6명의 연구자는 이러한 한계를 극복하고자 "보상 조정을 통한 RLHF에서 보상 해킹 완화(Reward Shaping to Mitigate Reward Hacking in RLHF)" 라는 논문을 통해 보상 조정 방법에 대한 포괄적인 연구 결과를 발표했습니다.

연구팀은 세 가지 핵심 설계 원칙을 제시합니다. 첫째, RL 보상은 이상적으로 제한되어야 합니다. 둘째, RL은 초기 빠른 성장 후 점진적 수렴을 통해 이득을 얻습니다. 셋째, RL 보상은 중심화된 보상 함수로 가장 잘 공식화됩니다. 이러한 통찰력을 바탕으로, 연구팀은 PAR(Preference As Reward) 라는 새로운 방법을 제안했습니다. PAR은 보상 모델 자체에 내재된 잠재적 선호도를 강화 학습 신호로 활용하는 혁신적인 접근 방식입니다.

Gemma2-2B와 Llama3-8B 두 개의 기본 모델과 Ultrafeedback-Binarized 및 HH-RLHF 두 개의 데이터셋을 사용하여 PAR을 평가한 결과, PAR은 다른 보상 조정 방법보다 우수한 성능을 보였습니다. 특히, AlpacaEval 2.0 벤치마크에서 경쟁 접근 방식보다 최소 5%p 이상 높은 승률을 기록했습니다. 또한, 최적의 성능을 위해 단 하나의 참조 보상만 필요할 정도로 뛰어난 데이터 효율성을 보였으며, 두 번의 완전한 학습 에포크 후에도 보상 해킹에 대한 강건성을 유지했습니다. 코드는 GitHub에서 확인할 수 있습니다.

이 연구는 RLHF의 보상 해킹 문제 해결에 중요한 돌파구를 마련했을 뿐만 아니라, 더욱 안전하고 신뢰할 수 있는 AI 시스템 개발에 기여할 것으로 기대됩니다. 앞으로 PAR의 발전과 응용에 대한 지속적인 관심과 연구가 필요합니다.