멀티모달 RAG: AI가 이미지와 텍스트를 이해하는 새로운 기준

본 기사는 중국 북경사범대학 연구팀이 개발한 멀티모달 RAG(M^2RAG) 벤치마크와 MM-RAIT 튜닝 방법에 대해 소개합니다. M^2RAG는 다양한 멀티모달 작업을 통해 AI의 지식 활용 능력을 평가하고, MM-RAIT는 이를 향상시키는 튜닝 방법입니다. 모든 데이터와 코드는 공개되어 AI 연구 발전에 기여할 것으로 예상됩니다.

최근 급속도로 발전하는 인공지능(AI) 분야에서 멀티모달 대규모 언어 모델(MLLM)은 이미지와 텍스트를 동시에 이해하고 처리하는 능력으로 주목받고 있습니다. 하지만 이러한 모델의 성능을 제대로 평가하고 향상시키기 위한 객관적인 기준이 부족했습니다. 중국 북경사범대학(NEUIR) 연구팀의 Zhenghao Liu 박사를 비롯한 연구자들은 이러한 문제에 대한 해결책으로 Multi-Modal Retrieval-Augmented Generation (M^2RAG) 벤치마크를 제시했습니다.

M^2RAG: 멀티모달 지식 활용 능력 평가의 새로운 지표

M^2RAG는 이미지 캡션 생성, 다중 모달 질의응답, 다중 모달 사실 검증, 이미지 재순위 지정 등 네 가지 주요 작업을 포함합니다. 각 작업은 실제 세계의 오픈 도메인 설정을 기반으로 하며, 모델은 방대한 멀티모달 문서 컬렉션에서 질의와 관련된 정보를 검색하고 이를 활용하여 답변을 생성해야 합니다. 이는 기존의 단순한 텍스트 기반 평가를 넘어, AI가 다양한 형태의 정보를 통합하고 이해하는 능력을 종합적으로 평가하는 새로운 기준을 제시합니다.

MM-RAIT: MLLM의 멀티모달 맥락 이해 능력 향상

연구팀은 MLLM의 멀티모달 맥락 활용 능력을 더욱 향상시키기 위해 Multi-Modal Retrieval-Augmented Instruction Tuning (MM-RAIT) 이라는 새로운 튜닝 방법을 개발했습니다. MM-RAIT는 다양한 멀티모달 지시 사항을 활용하여 MLLM을 학습시켜, 이미지와 텍스트 정보를 효과적으로 통합하고 질문에 대한 정확하고 풍부한 답변을 생성할 수 있도록 합니다. 실험 결과, MM-RAIT는 기존 RAG 시스템의 성능을 크게 향상시키는 것으로 나타났습니다.

오픈소스 공개: 더 나은 AI 개발을 위한 협력

연구팀은 M^2RAG 벤치마크와 MM-RAIT 튜닝 방법에 대한 모든 데이터와 코드를 https://github.com/NEUIR/M2RAG에서 공개했습니다. 이는 다른 연구자들이 M^2RAG를 활용하여 MLLM의 성능을 평가하고 개선하는 데 기여할 수 있도록 하며, AI 기술의 발전을 위한 협력적인 연구 환경을 조성하는 데 큰 의미가 있습니다.

결론적으로, M^2RAG와 MM-RAIT는 AI가 다양한 모달리티의 정보를 효과적으로 활용하고 이해하는 능력을 평가하고 향상시키는 데 중요한 역할을 할 것으로 기대됩니다. 이를 통해 더욱 정교하고 유용한 AI 시스템의 개발이 가속화될 것으로 예상됩니다.