딥러닝의 새로운 지평: 추론 시간 확장성을 극대화하는 일반화된 보상 모델링

본 기사는 Zijun Liu 등의 연구진이 발표한 'Inference-Time Scaling for Generalist Reward Modeling' 논문을 바탕으로, 대규모 언어 모델의 추론 시간 확장성을 획기적으로 개선하는 Self-Principled Critique Tuning (SPCT) 기법과 DeepSeek-GRM 모델에 대해 소개합니다. 병렬 샘플링과 메타 RM을 활용한 효과적인 추론 시간 확장성 및 우수한 성능을 검증한 연구 결과를 상세히 다루고 있으며, 향후 LLM의 발전 방향에 대한 시사점을 제공합니다.

최근 강화학습(RL)은 대규모 언어 모델(LLM)의 사후 훈련에 널리 활용되고 있습니다. 특히, RL을 통해 LLM의 추론 능력을 향상시키는 연구가 활발히 진행 중이며, 적절한 학습 방법을 통해 효과적인 추론 시간 확장성을 확보할 수 있다는 점이 주목받고 있습니다.

하지만, RL의 주요 과제 중 하나는 검증 가능한 질문이나 인공적인 규칙을 넘어 다양한 영역에서 LLM에 대한 정확한 보상 신호를 얻는 것입니다. Zijun Liu 등 8명의 연구원은 이러한 문제에 대한 해결책을 제시하는 획기적인 논문, "Inference-Time Scaling for Generalist Reward Modeling"을 발표했습니다.

이 연구는 일반적인 질의에 대한 보상 모델링(RM)의 추론 시간 확장성을 개선하는 방법과 적절한 학습 방법을 통해 성능-계산 확장성을 향상시키는 방법을 제시합니다. RM 접근 방식으로는 다양한 입력 유형에 대한 유연성과 추론 시간 확장성을 확보하기 위해 점별 생성 보상 모델링(GRM)을 채택했습니다.

학습 방법으로는 Self-Principled Critique Tuning (SPCT) 이라는 새로운 기법을 제안합니다. SPCT는 온라인 RL을 통해 GRM에서 확장 가능한 보상 생성 동작을 촉진하여 원칙을 적응적으로 생성하고 비판을 정확하게 수행합니다. 이를 통해 DeepSeek-GRM 모델이 탄생했습니다.

더 나아가, 효과적인 추론 시간 확장성을 위해 병렬 샘플링을 사용하여 계산 사용량을 늘리고, 메타 RM을 도입하여 투표 과정을 안내하여 확장 성능을 향상시켰습니다.

실험 결과, SPCT는 GRM의 품질과 확장성을 크게 향상시켜 기존 방법 및 모델을 다양한 RM 벤치마크에서 능가하는 것으로 나타났습니다. 심각한 편향 없이 훈련 시간 확장보다 더 나은 성능을 달성했습니다. DeepSeek-GRM은 일부 과제에서 여전히 어려움을 겪고 있지만, 연구팀은 일반적인 보상 시스템에 대한 미래의 노력을 통해 이러한 문제를 해결할 수 있을 것으로 기대하고 있습니다. 모델은 공개 및 오픈소스로 공개될 예정입니다. 이 연구는 LLM의 실용성과 성능 향상에 큰 기여를 할 것으로 기대됩니다. 향후 연구를 통해 더욱 발전된 LLM이 등장할 것을 기대해 봅니다. 🎉