AgentRM: 보상 모델링으로 에이전트 일반화 성능 향상시키다

중국과학원 연구진이 개발한 AgentRM은 보상 모델링을 통해 LLM 기반 에이전트의 일반화 성능을 획기적으로 향상시킨 기술입니다. 다양한 실험 결과를 통해 기존 최고 성능 모델을 능가하는 우수한 성능을 입증했습니다. 본 연구는 AI 에이전트의 실용화에 중요한 전기를 마련할 것으로 기대됩니다.

AgentRM: 보상 모델링을 통한 에이전트 일반화의 혁신

최근 LLM(대규모 언어 모델) 기반 에이전트는 기존 작업에서는 뛰어난 성능을 보였지만, 새로운 작업에 대한 일반화 능력은 여전히 부족하다는 한계를 드러냈습니다. 기존 연구는 다양한 작업으로 정책 모델을 미세 조정하여 일반화 성능을 개선하는 데 집중했습니다. 하지만, 중국과학원 자동화연구소의 Yu Xia 등 연구진은 정책 모델을 직접 미세 조정하는 것보다 보상 모델을 미세 조정하여 정책 모델을 유도하는 것이 훨씬 더 강력한 일반화 성능을 제공한다는 사실을 밝혀냈습니다.

이러한 발견을 바탕으로 연구진은 AgentRM이라는 새로운 일반화 가능한 보상 모델을 제안했습니다. AgentRM은 테스트 시간 검색을 위한 효과적인 정책 모델 가이드 역할을 합니다. 연구진은 명시적 보상 모델링, 암시적 보상 모델링, 그리고 LLM-as-a-judge 세 가지 보상 모델 구축 방식을 종합적으로 연구하여 최적의 전략을 제시했습니다. Best-of-N 샘플링과 단계별 빔 서치를 사용하여 AgentRM이 응답 생성을 효과적으로 안내하도록 설계했습니다.

9가지 에이전트 작업(4가지 유형)에 대한 실험 결과, AgentRM은 기본 정책 모델의 성능을 평균 8.8점 향상시켰으며, 최고 수준의 일반 에이전트보다 4.0점 앞섰습니다. 특히, LLaMA-3-70B 정책 모델에서는 무려 12.6점이나 성능 향상을 보이며, 약한 일반화 능력에서 강력한 일반화 능력으로의 도약을 이뤄냈습니다. 더 나아가, 미세 조정된 정책 모델의 성능 또한 향상시켜, 기존 세 가지 작업에서 최고의 특화된 에이전트를 11.4점 차이로 능가하는 놀라운 결과를 보였습니다. 추가 분석을 통해 테스트 시간 확장성에서도 AgentRM의 효과가 입증되었습니다. 연구진은 관련 연구를 위한 코드 또한 공개할 예정입니다. 이는 AI 에이전트의 일반화 문제 해결에 중요한 돌파구를 마련한 것으로 평가됩니다. AgentRM은 단순한 성능 향상을 넘어, AI 에이전트의 실제 세계 적용 가능성을 크게 높이는 획기적인 기술로 자리매김할 전망입니다.