암묵적 보상을 통한 과정 강화 학습: PRIME 프레임워크 소개

중국과학원 연구진이 제안한 PRIME 프레임워크는 암묵적 보상을 활용하여 온라인 PRM 업데이트를 가능하게 함으로써 대규모 언어 모델의 강화 학습 효율성을 높였으며, 수학 및 코딩 문제 해결 벤치마크에서 기존 모델 대비 우수한 성능을 보였습니다.

최근 대규모 언어 모델(LLM)의 성능 향상을 위한 연구가 활발히 진행되고 있습니다. 특히, 복잡한 다단계 추론을 요구하는 작업에서 희소한 결과 수준의 보상보다 밀집된 과정 보상이 훨씬 효과적임이 입증되었습니다. 밀집 보상은 강화 학습(RL)에서도 매력적인 선택지인데, 훈련 효율성 및 크레딧 할당과 같은 결과 보상의 고질적인 문제들을 해결할 잠재력을 가지고 있기 때문입니다.

하지만, 고품질의 과정 라벨을 수집하는 것이 매우 비용이 많이 드는 온라인 과정 보상 모델(PRM) 훈련의 어려움 때문에 이러한 잠재력은 아직 충분히 실현되지 못했습니다. 특히 보상 해킹(reward hacking)에 취약하다는 문제점도 있습니다.

중국과학원(CAS)의 연구진은 이러한 문제를 해결하기 위해 PRIME(Process Reinforcement through IMplicit rEwards) 프레임워크를 제안했습니다. PRIME은 정책 롤아웃과 결과 라벨만을 사용하여 암묵적 과정 보상을 통해 온라인 PRM 업데이트를 가능하게 합니다. 기존 방법들과 달리 별도의 보상 모델 훈련 단계가 필요 없어 개발 과정의 오버헤드를 크게 줄였습니다. 또한 다양한 이점 함수와 잘 결합됩니다.

연구진은 경쟁적인 수학 및 코딩 문제를 통해 PRIME의 효과를 실험적으로 검증했습니다. Qwen2.5-Math-7B-Base 모델을 기반으로, PRIME은 여러 주요 추론 벤치마크에서 SFT 모델에 비해 평균 15.1%의 성능 향상을 달성했습니다. 특히, Eurus-2-7B-PRIME 모델은 Qwen2.5-Math-7B-Instruct 모델보다 10%의 훈련 데이터만을 사용하면서도 7개의 추론 벤치마크에서 더 나은 성능을 보였습니다.

이 연구는 LLM의 강화 학습에 있어 밀집 보상의 효과적인 활용 방안을 제시하고, 온라인 PRM 훈련의 어려움을 극복하는 중요한 발걸음을 내디뎠습니다. PRIME 프레임워크는 향후 LLM의 발전에 크게 기여할 것으로 기대됩니다. 하지만, 보상 해킹 문제에 대한 완벽한 해결책이라고 단정 지을 수는 없으며, 향후 추가적인 연구가 필요합니다. 특히, 다양한 종류의 작업 및 모델에 대한 일반화 성능을 더욱 검증해야 할 것입니다.