획기적인 AI 보상 모델 등장: 인간의 선호도와 정확성을 모두 만족시키다

칭화대학교 연구진이 개발한 Agentic Reward Modeling은 인간의 선호도와 검증 가능한 정확성 신호를 결합하여 LLM의 성능을 향상시키는 획기적인 보상 모델입니다. RewardAgent라는 에이전트를 통해 실험적으로 우수성을 입증하였으며, GitHub 공개를 통해 후속 연구를 지원하고 있습니다.

최근 대규모 언어 모델(LLM)의 훈련과 추론에 있어서 보상 모델(Reward Models, RMs)의 중요성이 날로 커지고 있습니다. 하지만 기존 보상 모델들은 주로 인간의 선호도에만 초점을 맞춰, LLM 훈련에 강력한 잠재력을 보이는 검증 가능한 정확성 신호를 간과해왔습니다.

중국 칭화대학교(THU)의 Hao Peng 등 연구진은 이러한 한계를 극복하기 위해, **'Agentic Reward Modeling'**이라는 혁신적인 보상 시스템을 제안했습니다. 이 모델은 인간의 선호도와 사실성 및 지시사항 준수 와 같은 다양한 측면에서 검증 가능한 정확성 신호를 결합하여 보다 신뢰할 수 있는 보상을 제공합니다.

연구진은 이를 실현하기 위해 RewardAgent 라는 에이전트를 개발했습니다. RewardAgent는 인간의 선호도 보상과 사실성 및 지시사항 준수를 검증하는 두 가지 신호를 결합하여 더욱 신뢰할 수 있는 보상을 제공합니다. 기존 보상 모델 벤치마크와 실제 실세계 하위 작업에서의 추론 시간 최적화 검색을 통해, RewardAgent가 기존 모델들을 상당히 능가하는 성능을 보임을 실험적으로 입증했습니다. 뿐만 아니라, RewardAgent를 사용하여 훈련 선호도 쌍을 구성하고 DPO(Direct Preference Optimization) 목적함수를 이용해 LLM을 훈련시킨 결과, 다양한 NLP 벤치마크에서 기존 보상 모델에 비해 월등한 성능 향상을 달성했습니다.

더욱 고무적인 점은, 연구진이 GitHub (https://github.com/THU-KEG/Agentic-Reward-Modeling) 에 코드를 공개하여 후속 연구를 적극적으로 지원하고 있다는 것입니다. 이는 AI 분야의 발전에 크게 기여할 뿐 아니라, 더욱 안전하고 신뢰할 수 있는 LLM 개발을 위한 중요한 이정표가 될 것으로 기대됩니다. 앞으로 Agentic Reward Modeling이 어떻게 발전하고 LLM의 성능 향상에 기여할지 귀추가 주목됩니다.