AURORA: 앙상블 프롬프팅과 역검증을 통한 범용 프로세스 보상 모델의 자동화 훈련 프레임워크

본 기사는 중국 연구진이 개발한 혁신적인 AI 추론 모델 평가 및 최적화 프레임워크 AURORA를 소개합니다. AURORA는 앙상블 프롬프팅과 역검증을 통해 범용 프로세스 보상 모델(PRM)을 자동으로 훈련하며, UniversalBench를 통해 다양한 정책 분포와 긴 Chain-of-Thought(CoT) 출력을 평가합니다. 실험 결과 AURORA는 프로세스 평가 정확도와 PRM의 정확도를 향상시키는 것으로 나타났으며, 관련 프레임워크와 모델은 오픈소스로 공개되었습니다.

혁신적인 AI 추론 모델 평가 및 최적화 프레임워크, AURORA 등장

최근 급속한 발전을 거듭하고 있는 대규모 언어 모델(LLM)은 놀라운 추론 능력을 선보이며 인공지능 분야에 혁명을 일으키고 있습니다. 하지만, 다양한 정책 분포와 인간의 노력 및 정확성의 한계로 인해 복잡한 추론 과정의 평가 및 최적화는 여전히 난제로 남아있습니다.

이러한 문제를 해결하기 위해, 중국 연구진(Xiaoyu Tan 외 10명)이 개발한 혁신적인 자동화 프레임워크 AURORA가 등장했습니다. AURORA는 앙상블 프롬프팅과 역검증을 통해 범용 프로세스 보상 모델(PRM)을 훈련하는 새로운 접근 방식을 제시합니다.

AURORA: 두 단계 접근 방식

AURORA는 크게 두 단계로 구성됩니다. 첫 번째 단계는 다양한 프롬프팅 전략과 앙상블 방법을 활용하여 프로세스의 자동 주석 및 평가를 수행합니다. 이를 통해 보상 학습에 필요한 견고한 평가를 보장합니다. 두 번째 단계에서는 실제 참조 답변을 이용한 역검증을 통해 모델의 출력 검증 능력을 향상시키고 훈련 정확도를 개선합니다.

UniversalBench: 기존 벤치마크의 한계 극복

AURORA의 성능을 평가하기 위해 연구진은 기존의 ProcessBench 벤치마크를 뛰어넘는 UniversalBench를 도입했습니다. UniversalBench는 다양한 정책 분포와 긴 Chain-of-Thought(CoT) 출력 하에서 전체 경로에 대한 보상 예측을 평가합니다. 이는 실제 응용 환경에 더욱 가까운 평가를 가능하게 합니다.

놀라운 실험 결과

실험 결과, AURORA는 프로세스 평가 정확도를 향상시키고, 다양한 정책 분포와 긴 CoT 응답에 대한 PRM의 정확도를 개선하는 것으로 나타났습니다. 이는 AURORA가 LLM의 추론 능력 평가 및 최적화 문제를 효과적으로 해결할 수 있음을 시사합니다.

오픈소스 공개

AURORA 프레임워크와 Universal-PRM-7B 모델은 https://auroraprm.github.io/ 와 https://huggingface.co/infly/Universal-PRM-7B 에서 오픈소스로 공개되어, 더 많은 연구자들이 활용하고 발전시킬 수 있도록 지원합니다.

AURORA는 LLM의 추론 능력 향상에 중요한 기여를 할 뿐만 아니라, AI 기술의 발전과 더 나아가 다양한 분야의 응용에 큰 영향을 미칠 것으로 기대됩니다.