Vision-R1: 멀티모달 LLM의 추론 능력 향상을 위한 혁신적인 접근

Huang 등의 연구는 강화학습을 활용하여 멀티모달 LLM의 추론 능력을 향상시킨 Vision-R1 모델을 제시합니다. 자체 생성한 20만 개의 고품질 데이터셋과 PTST, GRPO 전략을 통해 MathVista 벤치마크에서 73.5%의 정확도를 달성하며 OpenAI O1에 근접한 성능을 보였습니다.

Vision-R1: 멀티모달 LLM의 추론 능력 향상을 위한 혁신적인 접근

최근 딥러닝 분야에서 대규모 언어 모델(LLM)의 발전은 눈부시지만, 여전히 복잡한 추론 능력 향상에는 어려움을 겪고 있습니다. 특히 멀티모달 LLM은 이미지와 텍스트를 동시에 처리해야 하기에, 고품질 데이터 확보가 더욱 어려운 과제입니다. Huang 등(2025)의 연구는 이러한 어려움을 극복하기 위한 획기적인 시도를 제시합니다. 바로 Vision-R1 입니다.

DeepSeek-R1-Zero의 성공에 영감을 받은 연구팀은 강화학습(RL)을 통해 멀티모달 LLM의 추론 능력을 향상시키는 방법을 모색했습니다. 하지만 기존 RL 기반 접근 방식은 질문과 반성과 같은 복잡한 추론 능력을 활성화하는 데 어려움을 겪었습니다. 고품질 멀티모달 추론 데이터가 부족했기 때문입니다.

이 문제를 해결하기 위해 연구팀은 모달 간 연결 및 데이터 필터링을 통해 기존 MLLM과 DeepSeek-R1을 활용, 놀랍게도 사람의 개입 없이 20만 개의 고품질 멀티모달 Chain-of-Thought (CoT) 데이터셋인 Vision-R1-cold 데이터셋을 구축했습니다. 이 데이터셋은 Vision-R1의 초기 학습에 사용됩니다.

초기 학습 이후 과도한 추론으로 인한 최적화 문제를 완화하기 위해, 연구팀은 Progressive Thinking Suppression Training (PTST) 전략을 제안했습니다. 또한, Group Relative Policy Optimization (GRPO) 와 어려운 형식의 결과 보상 함수를 사용하여 모델이 정확하고 복잡한 추론 과정을 점진적으로 학습하도록 개선했습니다. 1만 개의 멀티모달 수학 데이터셋을 사용하여 모델을 더욱 세련되게 만들었습니다.

실험 결과, Vision-R1은 다양한 멀티모달 수학 추론 벤치마크에서 평균 약 6% 향상된 성능을 보였습니다. 특히, 널리 사용되는 MathVista 벤치마크에서 Vision-R1-7B는 73.5%의 정확도를 달성, 최고 수준의 추론 모델인 OpenAI O1보다 단 0.4% 낮은 수치를 기록했습니다. 이는 RL 기반의 멀티모달 LLM 추론 능력 향상에 있어 괄목할 만한 성과입니다.

연구팀은 데이터셋과 코드를 공개하여 다른 연구자들의 후속 연구를 지원하고 있습니다. (https://github.com/Osilly/Vision-R1)

이 연구는 멀티모달 LLM의 추론 능력 향상에 대한 새로운 가능성을 제시하며, 향후 더욱 발전된 AI 시스템 개발에 중요한 기여를 할 것으로 기대됩니다. 특히, 고품질 데이터 생성 및 효과적인 RL 전략을 결합한 접근 방식은 다른 분야에도 적용 가능한 잠재력을 가지고 있습니다.