70억 파라미터 모델로 320억 모델 성능 따라잡기: 수학 추론의 한계를 탐구하다

중국 연구진이 개발한 OREAL 프레임워크는 이진 결과 보상만을 사용하여 수학적 추론 과제에서 70억 파라미터 모델의 성능을 320억 파라미터 모델 수준으로 끌어올렸습니다. 이는 토큰 수준의 보상 모델과 이론적 증명을 통해 희소 보상 문제를 해결한 결과입니다.

최근 OpenAI의 o-series 모델과 같은 독점적인 상용 모델들이 수학 문제 해결과 같은 추론 과제에서 놀라운 발전을 이루었습니다. 하지만 그 기술적 세부 사항은 여전히 베일에 가려져 있고, 주로 강화 학습(Reinforcement Learning, RL)과 장황한 사고 과정(Long Chain of Thoughts)을 사용하는 것으로 추측될 뿐입니다.

중국과학원, 상하이교통대학교 등의 연구진은 이러한 한계를 극복하고자 새로운 강화 학습 프레임워크인 OREAL을 제시했습니다. OREAL은 Outcome REwArd-based reinforcement Learning의 약자로, 수학적 추론 과제에서 쉽게 얻을 수 있는 이진 결과 보상만을 사용하여 성능 한계를 추구합니다.

연구진은 이진 피드백 환경에서 최적 정책을 학습하기 위해 최고 N개(Best-of-N, BoN) 샘플링에서 긍정적인 경로에 대한 행동 복제가 충분하다는 것을 이론적으로 증명했습니다. 이는 긍정적 및 부정적 샘플 간의 기울기 일관성을 보장하기 위해 부정적 샘플의 보상을 재구성해야 함을 시사합니다.

RL에서 오랫동안 존재해 온 희소 보상 문제는 추론 과제에서 장황한 사고 과정의 부분적 정확성으로 인해 더욱 악화됩니다. 이를 해결하기 위해 연구진은 토큰 수준의 보상 모델을 적용하여 추론 경로에서 중요한 토큰을 샘플링합니다.

OREAL을 통해, 70억 파라미터 모델이 처음으로 MATH-500 데이터셋에서 94.0%의 pass@1 정확도를 달성하여 320억 파라미터 모델과 동등한 성능을 보였습니다. OREAL-32B는 지식 증류를 통해 학습된 기존 320억 파라미터 모델을 능가하는 95.0%의 pass@1 정확도를 기록했습니다. 또한 초기 정책 모델과 RL 학습 쿼리의 중요성도 강조했습니다.

이 연구는 코드, 모델 및 데이터를 공개하여 향후 연구에 도움을 줄 예정입니다. (Github 링크)

결론적으로, 이 연구는 희소한 보상 환경에서도 효과적인 강화 학습을 통해 대규모 언어 모델의 수학적 추론 능력을 획기적으로 향상시킬 수 있음을 보여줍니다. 이는 모델 크기와 성능 간의 관계에 대한 기존의 통념을 깨는 중요한 발견입니다. 향후 연구는 OREAL의 성능을 더욱 개선하고 다른 추론 과제에도 적용하는 것을 목표로 할 것입니다.