멀티미디어 대규모 언어 모델의 마법을 밝히다: Migician의 등장


You Li 등 연구진이 개발한 Migician은 다중 이미지에서 자유 형식의 정확한 기반 구축을 수행하는 최초의 모델로, 기존 MLLM보다 21.61% 향상된 성능을 보이며 MGrounding-630k 데이터셋과 MIG-Bench 벤치마크와 함께 오픈소스로 공개되었습니다.

related iamge

최근 다중 모달 대규모 언어 모델(MLLM)의 눈부신 발전은 단일 이미지에 대한 세밀한 인식과 다중 이미지에 대한 일반적인 이해를 크게 향상시켰습니다. 하지만 기존 MLLM은 여전히 복잡한 다중 이미지 시나리오에서 정확한 기반 구축에 어려움을 겪고 있었습니다. 이 문제를 해결하기 위해 You Li 등 연구진은 단일 이미지 기반과 다중 이미지 이해를 통합하는 사고 연쇄(Chain-of-Thought, CoT) 프레임워크를 탐구했습니다. 하지만 이 방법은 비교적 불안정하고, 비 종단 간(non-end-to-end) 특성 때문에 추상적인 시각 정보를 포착하는 데 어려움을 보였습니다.

연구진은 이러한 한계를 극복하고 Migician을 개발했습니다. Migician은 다중 이미지에서 자유 형식의 정확한 기반 구축을 수행할 수 있는 최초의 모델입니다. 이를 뒷받침하기 위해 연구진은 다양한 다중 이미지 기반 구축 작업을 위한 데이터를 포함하고, 새롭게 생성된 자유 형식 기반 구축 지시 따르기 데이터를 포함하는 MGrounding-630k 데이터셋을 제시했습니다. 더불어, 다중 이미지 기반 구축 기능을 평가하기 위해 특별히 설계된 포괄적인 벤치마크인 MIG-Bench도 함께 공개했습니다.

실험 결과, Migician은 기존 최고 성능의 MLLM보다 21.61%나 더 높은 성능을 보였으며, 훨씬 더 큰 70B 모델보다도 우수한 성능을 입증했습니다. 이는 단순한 성능 향상을 넘어, 다중 이미지 이해에 대한 새로운 패러다임을 제시하는 획기적인 결과입니다. 더욱 고무적인 것은, 연구진이 코드, 모델, 데이터셋, 그리고 벤치마크를 모두 오픈소스(https://migician-vg.github.io/)로 공개하여, 다른 연구자들이 이를 활용하여 더욱 발전된 연구를 수행할 수 있도록 했다는 점입니다.

Migician의 등장은 MLLM의 발전에 새로운 장을 열었습니다. 이제 다중 이미지에 대한 더욱 정확하고 자유로운 이해가 가능해짐에 따라, 컴퓨터 비전과 자연어 처리 분야에서 혁신적인 응용 프로그램의 개발이 가속화될 것으로 기대됩니다. 특히, 복잡한 시각 정보를 요구하는 의료 영상 분석, 자율 주행, 로봇 공학 등의 분야에서 Migician의 활용 가능성은 무궁무진합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Migician: Revealing the Magic of Free-Form Multi-Image Grounding in Multimodal Large Language Models

Published:  (Updated: )

Author: You Li, Heyu Huang, Chi Chen, Kaiyu Huang, Chao Huang, Zonghao Guo, Zhiyuan Liu, Jinan Xu, Yuhua Li, Ruixuan Li, Maosong Sun

http://arxiv.org/abs/2501.05767v2