Vision-R1: 다중 모달 거대 언어 모델의 추론 능력 향상을 위한 혁신적인 접근 방식

Vision-R1은 강화학습 기반의 다중 모달 거대 언어 모델(MLLM) 추론 능력 향상 시스템으로, 기존 데이터 부족 문제를 해결하고 PTST, GRPO 전략을 통해 뛰어난 성능을 달성했습니다. MathVista 벤치마크에서 OpenAI O1에 근접한 성능을 기록했습니다.

Vision-R1: 다중 모달 거대 언어 모델의 추론 능력 혁신

중국 연구진(Huang 외)이 발표한 Vision-R1은 강화학습(RL)을 이용해 다중 모달 거대 언어 모델(MLLM)의 추론 능력을 향상시키는 획기적인 시스템입니다. 기존의 LLM 추론 연구는 고품질 데이터 부족에 어려움을 겪었지만, Vision-R1은 이 문제를 독창적으로 해결했습니다.

데이터 부족 문제, 어떻게 해결했을까요?

Vision-R1 연구진은 기존 MLLM과 DeepSeek-R1-Zero(순수 RL로 LLM의 추론 능력을 향상시킨 선행 연구)를 활용해 인간의 개입 없이 20만 개의 고품질 다중 모달 추론 데이터셋(Vision-R1-cold)을 생성했습니다. 모달 간 연결 및 데이터 필터링을 통해 얻어진 이 데이터셋은 Vision-R1의 초기 학습 데이터로 활용됩니다. 이는 마치 숙련된 장인이 초보에게 완성품을 보여주며 기술을 전수하는 것과 같습니다.

과도한 사고는 어떻게 막을까요?

초기 학습 이후, 모델이 과도하게 생각하는 문제를 해결하기 위해, 연구진은 '점진적 사고 억제 훈련(PTST)' 전략과 '그룹 상대 정책 최적화(GRPO)'를 도입했습니다. 마치 어린아이에게 복잡한 문제를 한 번에 가르치기 보다는 단계적으로, 그리고 다양한 관점에서 접근하도록 가르치는 것과 같습니다. 이를 통해 모델은 정확하고 복잡한 추론 과정을 점진적으로 학습할 수 있게 됩니다. 1만 개의 다중 모달 수학 데이터셋을 활용하여 모델의 추론 능력을 세밀하게 조정했습니다.

성과는 어떨까요?

실험 결과, Vision-R1은 다양한 다중 모달 수학 추론 벤치마크에서 평균 약 6%의 성능 향상을 달성했습니다. 특히, 널리 사용되는 MathVista 벤치마크에서는 73.5%의 정확도를 기록하며, 최고 수준의 추론 모델인 OpenAI O1과 불과 0.4%의 차이만 보였습니다. 이는 Vision-R1의 뛰어난 성능을 입증하는 놀라운 결과입니다. Vision-R1의 코드와 데이터셋은 https://github.com/Osilly/Vision-R1 에서 공개될 예정입니다.

Vision-R1은 단순한 성능 향상을 넘어, LLM의 추론 능력 향상을 위한 새로운 패러다임을 제시하며, 앞으로의 연구 방향에 중요한 영감을 줄 것으로 기대됩니다. 더욱 발전된 다중 모달 추론 모델의 등장을 기대하며, 지속적인 관심과 연구가 필요합니다.