혁신적인 시각적 RAG: 파인튜닝 없이 MLLM의 시각적 지식 확장
Mirco Bonomo와 Simone Bianco가 개발한 Visual RAG는 MLLM의 시각적 지식을 파인튜닝 없이 효율적으로 확장하는 기술입니다. 기존 방식보다 적은 예시 데이터로 더 높은 정확도를 달성하여, 컴퓨터 비전 분야의 발전에 기여할 것으로 예상됩니다.

최근 컴퓨터 비전 분야에서 괄목할 만한 성과를 보이고 있는 다중 모달 대규모 언어 모델(MLLM)은 시각 및 텍스트 정보를 통합하여 추론 작업을 수행합니다. 하지만 기존 MLLM은 사전 학습 데이터에 의존하기 때문에 새로운 정보를 학습하려면 막대한 파인튜닝이 필요하다는 한계가 있었습니다.
이러한 문제를 해결하기 위해 Mirco Bonomo와 Simone Bianco는 획기적인 Visual RAG 접근법을 제시했습니다. Visual RAG는 MLLM의 문맥 학습 능력과 검색 메커니즘을 결합하여 모델의 지식을 효율적으로 확장하는 기술입니다. 핵심은 질문에 가장 관련성이 높은 예시 데이터만을 선택적으로 활용하여 유추 학습을 유도하는 것입니다.
기존의 다중 예시 문맥 학습(ICL)은 많은 예시 데이터가 필요하고, MLLM의 문맥 창 크기에 제한이 있었습니다. 하지만 Visual RAG는 추론 시점에 필요한 정보만 동적으로 제공하여 이러한 문제점을 해결합니다. 즉, 학습 데이터에 국한되지 않고, 파인튜닝 없이도 빠르고 쉽게 모델을 업데이트할 수 있습니다.
이는 모델의 이미지 분류 성능 향상을 위한 계산 비용을 크게 줄이고, 기존에 학습되지 않은 새로운 시각 영역 및 과제에 대한 모델 지식을 확장하는 데 기여합니다. 8개의 다양한 데이터 세트에서 진행된 실험 결과, Visual RAG는 최첨단 기술(다중 예시 ICL)에 비해 평균 약 2% 향상된 정확도를 달성하면서도, 필요한 예시 데이터의 양은 평균 23% 수준으로 크게 감소시켰습니다. 이는 효율성과 성능 모두에서 괄목할 만한 발전입니다.
결론적으로, Visual RAG는 MLLM의 시각적 지식 확장에 있어 새로운 가능성을 제시합니다. 파인튜닝 없이도 효율적으로 모델을 업데이트하고, 다양한 시각 과제에 적용할 수 있다는 점에서 큰 의미를 갖습니다. 이 연구는 앞으로 MLLM 기반 시각 지능 시스템 발전에 중요한 기여를 할 것으로 기대됩니다.
Reference
[arxiv] Visual RAG: Expanding MLLM visual knowledge without fine-tuning
Published: (Updated: )
Author: Mirco Bonomo, Simone Bianco
http://arxiv.org/abs/2501.10834v1