혁신적인 시각적 위치 프롬프트: MLLM 기반 시각적 접지 기술의 새로운 지평

Tang 등 연구진이 발표한 VPP-LLaVA는 시각적 위치 프롬프트(VPP)를 통해 MLLM의 시각적 접지 성능을 향상시킨 모델입니다. 소규모 데이터셋으로도 최첨단 성능을 달성하여 효율성을 높였으며, 향후 시각적 이해 기술 발전에 기여할 것으로 예상됩니다.

최근 멀티모달 대규모 언어 모델(MLLM)이 이미지 관련 작업에서 뛰어난 성능을 보여주고 있지만, 이미지 내 좌표와 공간 정보를 정확하게 연결하는 데 어려움을 겪고 있습니다. 특히 시각적 접지(Visual Grounding)와 같은 위치 인식 작업에서 이러한 한계는 더욱 두드러집니다.

이는 MLLM이 명시적인 공간 참조가 부족하고, 세밀한 공간 정보보다는 전역적 맥락에 우선순위를 두기 때문입니다. Tang 등 연구진은 이 문제를 해결하기 위해 시각적 위치 프롬프트(Visual Position Prompt, VPP) 를 활용한 새로운 MLLM, VPP-LLaVA를 제시했습니다.

VPP-LLaVA는 두 가지 상호 보완적인 메커니즘을 통합합니다. 전역 VPP는 학습 가능한 축과 같은 임베딩을 입력 이미지에 겹쳐 구조화된 공간적 단서를 제공하고, 지역 VPP는 위치 인식 쿼리를 통합하여 객체의 가능성 있는 위치를 제시함으로써 세밀한 위치 파악에 집중합니다.

또한, 연구진은 고품질 시각적 접지 데이터를 효율적인 모델 학습을 위해 압축된 형태로 통합한 VPP-SFT 데이터셋(0.6M samples) 을 공개했습니다. 이 데이터셋을 사용하여 VPP-LLaVA를 학습시킨 결과, MiniGPT-v2와 같은 훨씬 더 큰 데이터셋(약 21M samples)을 사용하는 다른 MLLM보다 적은 훈련 데이터로도 표준 접지 벤치마크에서 최첨단 결과를 달성했습니다.

이는 VPP가 MLLM의 시각적 접지 성능을 획기적으로 향상시킬 수 있음을 보여주는 중요한 결과입니다. VPP-LLaVA의 코드와 VPP-SFT 데이터셋은 논문 채택 후 https://github.com/WayneTomas/VPP-LLaVA에서 공개될 예정입니다. 이 연구는 MLLM 기반 시각적 접지 기술 발전에 중요한 이정표를 세웠으며, 앞으로 더욱 정확하고 효율적인 시각적 이해 시스템 개발에 기여할 것으로 기대됩니다.

:point_right: 주목할 만한 점: 기존 대규모 데이터셋에 비해 훨씬 적은 데이터로 최첨단 성능을 달성했다는 점은 자원 효율적인 측면에서 큰 의미를 가집니다. 이를 통해 향후 MLLM 개발 및 응용에 있어 데이터 확보의 어려움을 어느 정도 해소할 수 있을 것으로 예상됩니다.