VLLM의 공간 추론 능력 향상을 위한 혁신적인 벤치마크 확장 및 모델 개선 연구
본 연구는 VLLM의 공간 추론 능력 향상을 위해 확산 모델 기반 데이터 확장 및 다양한 비주얼 인코더 통합을 통해 VLLM VSR 전문가(VSRE)를 개발, 기존 모델 대비 27% 이상의 정확도 향상을 달성하였으며, 확장된 모델과 데이터셋을 오픈소스로 공개했습니다.

VLLM의 공간 추론 능력의 한계를 넘어서다: VSRE의 탄생
인간의 인지 능력에서 공간 관계를 구분하는 것은 매우 중요합니다. 하지만, 기존의 Vision Large Language Models (VLLMs)은 시각적 공간 추론(VSR) 능력에서 한계를 보여왔습니다. MME, MMBench, SEED와 같은 기존 벤치마크들은 VSR 능력을 평가하지만, VLLM에 특화된 충분한 양과 질의 평가 및 최적화 데이터셋이 부족했습니다. Xie Peijin 등 연구진은 이러한 문제를 해결하기 위해 획기적인 연구를 진행했습니다.
기존 VLLM의 문제점 진단 및 통합 테스트 세트 제안
연구진은 먼저 기존 VLLM들을 VSR 데이터셋으로 진단하여, 언어 지시에는 과민하게 반응하지만 시각적 위치 정보에는 둔감한 모순점을 발견했습니다. 이를 해결하기 위해 데이터 및 모델 구조의 두 가지 측면에서 기존 벤치마크를 확장했습니다.
혁신적인 데이터 및 모델 구조 확장
가장 흥미로운 부분은 확산 모델을 이용하여 공간적으로 위치가 제어 가능한 이미지 데이터를 생성한 것입니다. 이는 VSR 학습을 위한 데이터 확장에 있어 새로운 패러다임을 제시합니다. 또한, 기존의 CLIP(Contrastive Language–Image Pre-training) 외에도 SigLIP, SAM, DINO 등 강력한 3가지 비주얼 인코더를 통합하여 VLLM의 시각적 정보 처리 능력을 향상시켰습니다.
VLLM VSR 전문가(VSRE)의 탄생과 성능 향상
데이터 및 모델 확장을 위한 다양한 조합 실험을 통해, 연구진은 VLLM VSR 전문가(VSRE) 를 개발했습니다. VSRE는 다양한 지시어에 대한 일반화 능력이 뛰어나며 시각적 위치 정보의 차이를 정확하게 구분합니다. 놀랍게도, VSRE는 VSR 테스트 세트에서 정확도가 27% 이상 향상되었으며, VSR 데이터셋 및 다른 평가 벤치마크의 관련 하위 집합에서 우수한 성능을 보였습니다.
오픈소스 공개를 통한 VLLM 연구 발전에 기여
연구진은 확장된 모델과 데이터, 부록을 https://github.com/peijin360/vsre 에서 오픈소스로 공개하여 VLLM 분야의 연구 발전에 기여하고 있습니다. 이는 VLLM의 시각적 공간 추론 능력 향상에 중요한 이정표가 될 것으로 기대됩니다. 이 연구는 단순한 성능 향상을 넘어, VLLM의 한계를 극복하고 인간의 인지 능력에 더욱 근접한 AI 시스템 개발을 위한 중요한 발걸음을 내디뎠습니다.
Reference
[arxiv] Expand VSR Benchmark for VLLM to Expertize in Spatial Rules
Published: (Updated: )
Author: Peijin Xie, Lin Sun, Bingquan Liu, Dexin Wang, Xiangzheng Zhang, Chengjie Sun, Jiajia Zhang
http://arxiv.org/abs/2412.18224v1