획기적인 발전! 그래프 추론으로 거대 언어 모델의 한계를 뛰어넘다

중국 연구진이 개발한 GraphPRM은 그래프 추론 문제에 특화된 과정 보상 모델로, 대규모 데이터셋 GraphSILO를 활용하여 LLM의 추론 능력을 크게 향상시켰습니다. 다양한 추론 영역으로의 전이 학습 성공은 LLM의 발전에 중요한 의미를 갖습니다.

최근 거대 언어 모델(LLM)의 발전이 눈부시지만, 여전히 복잡한 추론 능력 향상은 풀어야 할 과제로 남아있습니다. 특히 수학적 추론 분야에서는 단계별 피드백을 제공하는 과정 보상 모델(PRM)이 주목받고 있지만, 다른 분야로의 확장은 데이터 생성의 어려움 때문에 제한적이었습니다.

중국 과학자 팀의 혁신적인 연구가 이러한 한계를 극복했습니다. Miao Peng, Nuo Chen, Zongrui Suo, Jia Li 등 연구진은 그래프 추론 문제에 초점을 맞춰, 자동화된 작업 지향 경로 및 몬테카를로 트리 탐색(MCTS) 을 이용하여 단계별 레이블이 있는 방대한 데이터셋 GraphSILO를 구축했습니다. GraphSILO는 그래프 추론 문제에 대한 최대 규모의 데이터셋으로, 단계별 추론 과정을 상세히 기록하고 있습니다. 이를 기반으로 연구진은 그래프 추론 문제에 특화된 새로운 PRM인 GraphPRM을 개발했습니다.

GraphPRM은 추론 시간 확장 및 직접적 선호도 최적화(DPO)를 통한 강화 학습 두 가지 설정에서 평가되었습니다. 실험 결과, GraphPRM은 13가지 그래프 추론 과제에서 Qwen2.5-7B 모델의 성능을 9% 향상시키는 놀라운 결과를 보였습니다. 더욱 중요한 것은, 새로운 그래프 추론 데이터셋과 수학 문제 해결과 같은 다른 추론 영역으로의 전이 학습도 성공적으로 이루어졌다는 점입니다. GSM8K와 Math500에서도 성능 향상이 확인되어, 그래프 기반 추론 보상의 다양한 영역 적용 가능성을 입증했습니다.

이 연구는 PRM이 다양한 분야의 추론 능력 향상에 기여할 수 있음을 보여주는 중요한 결과입니다. 이는 향후 더욱 다재다능하고 효과적인 LLM 개발을 위한 중요한 이정표가 될 것입니다. GraphSILO 데이터셋의 공개는 다른 연구자들의 후속 연구를 촉진할 것으로 예상되며, LLM의 추론 능력 발전에 큰 기여를 할 것으로 기대됩니다.

핵심:

• GraphSILO: 자동화된 데이터 생성으로 만들어진, 그래프 추론 문제에 대한 대규모 데이터셋
• GraphPRM: 그래프 추론에 특화된 새로운 과정 보상 모델
• 성과: Qwen2.5-7B 모델의 성능 9% 향상, 다른 추론 영역으로의 전이 학습 성공

이 연구는 LLM의 추론 능력 향상에 대한 새로운 가능성을 열었으며, 앞으로 더욱 발전된 인공지능 기술 개발에 크게 기여할 것으로 예상됩니다.