LIMR: 강화 학습의 스케일링을 위한 'Less is More' 전략

중국과학원 연구팀은 LLM의 추론 능력 향상을 위한 새로운 강화 학습(RL) 접근 방식인 LIMR을 제시했습니다. 소규모의 전략적 데이터 선택을 통해 기존의 대규모 데이터셋보다 우수한 성능을 달성하여, 데이터의 질이 양보다 중요함을 강조했습니다. 학습 영향 측정(LIM)이라는 자동화된 방법과 7B 규모 모델에서의 압도적 성능을 통해, AI 연구에 새로운 가능성을 제시하고 오픈소싱을 통해 공유하고 있습니다.

더 적은 데이터로 더 나은 성능: LLM 추론 능력 향상의 새로운 지평

최근 급속도로 발전하는 대규모 언어 모델(LLM)의 추론 능력 향상에 대한 연구가 활발히 진행되고 있습니다. 특히 강화 학습(Reinforcement Learning, RL)은 LLM의 추론 능력 향상에 큰 잠재력을 보여주고 있지만, RL 훈련 데이터의 요구사항에 대한 투명성 부족으로 인해 체계적인 발전에 어려움을 겪고 있었습니다.

중국과학원 자동화연구소의 Xuefeng Li, Haoyang Zou, Pengfei Liu 연구팀은 이러한 문제에 대한 해결책으로 LIMR(Less is More for RL Scaling) 이라는 새로운 접근 방식을 제시했습니다. 이 연구는 기존의 '데이터 규모가 클수록 성능이 좋다'는 가정에 의문을 제기하며, 전략적으로 선택된 소규모 데이터셋으로도 우수한 성능을 달성할 수 있음을 보여줍니다.

1,389개의 샘플, 8,523개를 뛰어넘다:

연구팀은 놀랍게도 전체 8,523개의 샘플 데이터셋보다 훨씬 적은 1,389개의 샘플만으로도 더 나은 성능을 달성했습니다. 그 비결은 바로 학습 영향 측정(Learning Impact Measurement, LIM) 이라는 자동화된 방법입니다. LIM은 모델 학습 경로와의 정렬에 따라 훈련 샘플을 평가하고 우선순위를 지정하여, 제한된 자원을 가장 효율적으로 활용할 수 있도록 돕습니다.

7B 모델에서의 압도적 성능:

특히 주목할 점은, 기존의 데이터 효율적인 접근 방식(LIMO, s1)이 32B 규모의 모델에서는 효과를 보였지만, 7B 규모의 모델에서는 지도 학습 미세 조정(SFT)을 통해 성능이 크게 저하되었다는 것입니다. 반면 LIMR은 AIME24에서 16.7% 높은 정확도를 달성했으며, MATH500에서는 LIMO와 s1보다 각각 13.0%와 22.2% 더 높은 성능을 보였습니다.

'Less is More'의 시대:

이 연구는 LLM의 강화 학습 스케일링에 대한 기존의 이해를 근본적으로 바꿔놓았습니다. 데이터의 규모보다 정밀한 샘플 선택이 LLM의 추론 능력 향상의 핵심임을 보여주는 것입니다. 연구팀은 재현 가능한 연구와 미래 혁신을 위해 LIMR의 구현, 훈련 및 평가 코드, 선별된 데이터셋, 훈련된 모델을 모두 오픈소싱했습니다 (https://github.com/GAIR-NLP/LIMR). 이는 AI 연구 커뮤니티에 큰 기여가 될 것으로 기대됩니다. 'Less is More' 전략을 통해, 더 효율적이고 지속 가능한 AI 개발의 새로운 가능성이 열리고 있습니다.