혁신적인 AI 추론 모델: 계층적 다단계 보상 모델(HRM) 등장

왕텅 등 연구팀이 개발한 계층적 다단계 보상 모델(HRM)과 계층적 노드 압축(HNC)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 혁신적인 기술입니다. PRM의 한계를 극복하고, 안정성과 신뢰성을 높이며, 다양한 추론 작업에서 우수한 성능을 보였습니다.

AI 추론의 새로운 지평을 열다: 계층적 다단계 보상 모델(HRM)

최근 대규모 언어 모델(LLM)의 추론 능력 향상에 대한 연구가 활발하게 진행되고 있습니다. 특히, 지도 학습 미세 조정이나 강화 학습을 통해 놀라운 성과를 거두고 있죠. 하지만 기존의 주요 접근 방식 중 하나인 프로세스 보상 모델(PRM)은 '보상 해킹' 문제로 인해 최적의 중간 단계를 식별하는 데 어려움을 겪고 있었습니다.

이러한 문제를 해결하기 위해, 왕텅(Teng Wang) 등 연구팀은 획기적인 새로운 보상 모델 접근 방식인 계층적 보상 모델(HRM) 을 제안했습니다. HRM은 개별 및 연속 추론 단계를 세분화된 수준과 조잡한 수준에서 모두 평가합니다. 이를 통해 추론의 일관성과 자기 반성 능력을 크게 향상시키는 것이죠. 특히, 이전 추론 단계가 잘못되었을 때 그 효과가 더욱 뚜렷하게 나타납니다.

하지만 여기서 끝이 아닙니다. PRM 훈련 데이터를 자율적으로 생성하는 기존의 몬테카를로 트리 탐색(MCTS) 방식은 효율성이 떨어지는 단점이 있었습니다. 이를 해결하기 위해 연구팀은 계층적 노드 압축(HNC) 이라는 효율적인 데이터 증강 전략을 도입했습니다. HNC는 트리 구조에서 두 개의 연속적인 추론 단계를 하나로 병합하는 노드 병합 기법을 기반으로 합니다. 이를 통해 MCTS 결과의 다양성을 확보하고, 노이즈를 추가하여 레이블의 강건성을 높이는 효과를 거둘 수 있었습니다. 놀랍게도, 이 모든 과정은 무시할 만한 수준의 계산 오버헤드만을 발생시켰습니다.

PRM800K 데이터셋을 이용한 실험 결과, HNC와 함께 사용된 HRM은 PRM에 비해 훨씬 뛰어난 안정성과 신뢰성을 보였습니다. 뿐만 아니라, MATH500과 GSM8K에 대한 교차 도메인 평가에서도 HRM의 우수한 일반화 능력과 강건성이 확인되었습니다. 이는 HRM이 다양한 추론 작업에서 탁월한 성능을 발휘할 수 있음을 의미합니다. 연구팀은 모든 실험 코드를 https://github.com/tengwang0318/hierarchial_reward_model 에서 공개했습니다.

이번 연구는 LLM의 추론 능력 향상에 있어 중요한 이정표를 세웠습니다. HRM과 HNC는 AI 추론 기술 발전에 크게 기여할 것으로 기대되며, 앞으로 더욱 발전된 AI 시스템 개발에 중요한 역할을 할 것으로 예상됩니다.