R1-Zero: 20억 파라미터 비지도 학습 모델에서 시각적 추론의 혁신

딥시크 연구진은 20억 파라미터 비지도 학습 모델에서 강화 학습을 통해 시각적 추론 능력을 크게 향상시켰으며, 지시 모델을 사용한 강화 학습의 어려움과 그 원인에 대한 귀중한 통찰력을 제공했습니다.

최근 딥시크(DeepSeek)의 R1은 간단한 규칙 기반 인센티브를 사용한 강화 학습을 통해 거대 언어 모델에서 복잡한 추론 능력의 자율적인 발전을 가능하게 했습니다. 이는 모델이 자기 반성을 보이고 응답 길이가 훈련 중 증가하는 'Aha Moment'로 특징지어집니다. 하지만 이러한 성공을 다중 모달 추론으로 확장하려는 시도는 종종 이러한 핵심 특징을 재현하는 데 실패했습니다.

이 보고서는 20억 파라미터의 비지도 학습(Non-SFT) 모델에서 다중 모달 추론에 대해 이러한 특징을 성공적으로 재현한 첫 번째 사례를 제시합니다. Zhou Hengguang 등 연구진은 Qwen2-VL-2B를 사용하여 SAT 데이터셋에 직접 강화 학습을 적용했습니다. 그 결과, CVBench에서 59.47%의 정확도를 달성하여 기본 모델보다 약 30%, SFT 설정보다 약 2% 향상된 성능을 보였습니다. 이는 비지도 학습 모델에서도 강화학습을 통해 놀라운 추론 능력 향상을 이끌어낼 수 있음을 보여주는 중요한 결과입니다.

더 나아가, 연구진은 지시 모델을 사용한 강화 학습으로 R1과 같은 추론을 달성하려는 시도에서 실패한 경험과 통찰력을 공유합니다. 주요 관찰 결과는 다음과 같습니다.

1. 지시 모델에 강화 학습을 적용하면 종종 사소한 추론 경로가 생성됩니다.
2. 단순한 길이 보상은 추론 능력을 유도하는 데 효과적이지 않습니다.

이러한 실패 사례 분석은 향후 연구 방향을 제시하는 중요한 시사점을 제공합니다. 연구팀은 프로젝트 코드를 GitHub에 공개하여 다른 연구자들의 재현과 발전을 지원하고 있습니다. 이 연구는 거대 언어 모델의 추론 능력 향상에 대한 새로운 가능성을 제시하며, 앞으로 더욱 발전된 다중 모달 추론 기술 개발에 기여할 것으로 기대됩니다. 특히, 비지도 학습 모델을 활용한 강화 학습의 성공은 데이터 효율성과 모델의 일반화 능력 향상에 중요한 의미를 지닙니다. 🔑