R1-Zero: 20억 매개변수 비지도 학습 모델에서 시각적 추론의 획기적 발전

딥시크 연구진이 20억 매개변수 비지도 학습 모델에서 강화학습을 통해 시각적 추론 능력을 획기적으로 향상시키고, 'aha moment' 현상을 재현하는 데 성공했습니다. 하지만 지시 모델에서는 강화 학습의 효과가 제한적임을 발견하였으며, 그 원인 분석과 함께 향후 연구 방향을 제시합니다.

최근 딥시크(DeepSeek)의 R1 연구는 간단한 규칙 기반 인센티브를 사용한 강화 학습을 통해 거대 언어 모델(LLM)의 복잡한 추론 능력을 자율적으로 발전시킬 수 있음을 보여주었습니다. 이는 모델이 자기 반성을 보이고 응답 길이가 훈련 중 증가하는, 소위 'aha moment'로 특징지어집니다. 하지만 이러한 성공을 다중 모달 추론으로 확장하려는 시도는 종종 이러한 핵심 특징을 재현하는 데 실패했습니다.

이 보고서는 Hengguang Zhou 외 연구진이 20억 매개변수의 비지도 미세 조정(Non-SFT) 모델에서 다중 모달 추론에 대한 이러한 특징을 최초로 성공적으로 복제한 연구를 소개합니다. Qwen2-VL-2B 모델을 기반으로 SAT 데이터셋에 직접 강화 학습을 적용하여 CVBench에서 59.47%의 정확도를 달성, 기본 모델보다 약 30% 향상되었고, 지도 미세 조정(SFT) 설정보다 약 2% 높은 성능을 기록했습니다.

더 나아가, 연구진은 지시 모델을 사용한 강화 학습을 통해 R1과 같은 추론 능력을 달성하려는 실패한 시도와 그에 대한 통찰력을 공유하며, 그 과정에서 발견한 핵심적인 관찰 결과를 제시합니다.

• 관찰 결과 1: 지시 모델에 강화 학습을 적용하면 종종 사소한 추론 경로가 생성됩니다.
• 관찰 결과 2: 단순한 길이 보상은 추론 능력을 유도하는 데 효과적이지 않습니다.

이 연구는 비지도 학습 모델에서 강화 학습을 통한 추론 능력 향상 가능성을 보여주는 동시에, 지시 모델에 강화 학습을 적용하는 데 있어서의 어려움과 그 원인에 대한 귀중한 통찰력을 제공합니다. 프로젝트 코드는 https://github.com/turningpoint-ai/VisualThinker-R1-Zero 에서 확인할 수 있습니다. 이 연구는 거대 언어 모델의 추론 능력 향상을 위한 새로운 가능성을 제시하며, 앞으로의 연구 방향을 제시하는 중요한 이정표가 될 것으로 기대됩니다. 특히, 'aha moment' 현상의 재현은 모델의 학습 과정에 대한 깊이 있는 이해를 제공하며, 더욱 발전된 추론 능력을 갖춘 AI 개발에 중요한 단서를 제공할 것으로 예상됩니다.