OpenRFT: 강화 학습 미세 조정으로 도메인 특화 작업에 적용되는 추론 기반 모델


OpenRFT는 제한된 데이터로도 도메인 특화 추론 모델을 효과적으로 학습시키는 새로운 방법입니다. 질문 증강, 추론 과정 데이터 합성, 소수 샷 ICL 등의 기법을 통해 SciKnowEval에서 뛰어난 성능을 보였습니다. GitHub를 통해 공개된 소스 코드와 데이터셋은 AI 연구의 발전에 기여할 것으로 예상됩니다.

related iamge

OpenRFT: 도메인 특화 작업을 위한 추론 기반 모델의 혁신적인 접근

OpenAI의 강화 학습 미세 조정(RFT) 기술은 단순 패턴 모방을 넘어 추론 기반 모델을 미세 조정하는 새로운 패러다임을 제시하며 큰 주목을 받고 있습니다. 중국 베이징 교통대학교(BJTU)의 연구진은 이러한 RFT의 잠재력에 주목하여, 일반적인 추론 모델을 특정 도메인 작업에 적용하는 새로운 방법인 OpenRFT를 개발했습니다.

OpenRFT는 RFT와 동일한 설정 하에서 작업을 수행하지만, 추론 단계 데이터 부족과 제한된 훈련 샘플 수라는 두 가지 주요 과제에 직면합니다. 연구진은 이러한 문제를 해결하기 위해 세 가지 혁신적인 방법을 제시합니다.

  1. 질문 증강 (Question Augmentation): 도메인 특정 샘플을 활용하여 질문의 다양성을 확보하고 모델의 학습 효율을 높입니다.
  2. 추론 과정 데이터 합성 (Synthesizing Reasoning-Process Data): 실제 데이터가 부족한 상황에서도 추론 과정을 모방한 데이터를 생성하여 모델 훈련에 활용합니다. 이는 마치 가상의 실험 데이터를 만드는 것과 같습니다.
  3. 소수 샷 ICL (Few-shot ICL): 제한된 샘플만으로도 효과적인 학습을 가능하게 하는 소수 샷 학습 기법을 적용합니다.

이러한 방법들을 통해 OpenRFT는 과학 지식 평가 데이터셋인 SciKnowEval에서 놀라운 결과를 보여줍니다. 각 작업에 단 100개의 도메인 특정 샘플만 사용했음에도 불구하고, 상당한 성능 향상을 달성했습니다. 이는 OpenRFT의 높은 효율성과 실용성을 보여주는 중요한 지표입니다.

연구진은 GitHub(https://github.com/ADaM-BJTU/OpenRFT)를 통해 소스 코드, 데이터셋, 그리고 모델을 공개하여 다른 연구자들의 활용과 발전을 지원하고 있습니다. 향후 버전에서는 더욱 풍부한 실험 결과가 추가될 예정입니다.

결론적으로, OpenRFT는 데이터 제약이 있는 상황에서도 일반적인 추론 모델을 특정 도메인에 효과적으로 적용할 수 있는 혁신적인 방법을 제시하며, AI 연구 발전에 크게 기여할 것으로 기대됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] OpenRFT: Adapting Reasoning Foundation Model for Domain-specific Tasks with Reinforcement Fine-Tuning

Published:  (Updated: )

Author: Yuxiang Zhang, Yuqi Yang, Jiangming Shu, Yuhang Wang, Jinlin Xiao, Jitao Sang

http://arxiv.org/abs/2412.16849v1