멀티모달 AI의 새로운 지평: M3STR 벤치마크가 제시하는 시각적 추상 이해

본 기사는 멀티모달 대규모 언어 모델(MLLM)의 시각적 추상 이해 능력 평가를 위한 새로운 벤치마크 M3STR에 대한 연구 결과를 소개합니다. 기존 MLLM 평가의 한계를 지적하고, 시각적 구조화된 지식 이해 능력을 중점적으로 평가하는 M3STR을 통해 26개의 최첨단 MLLM의 성능을 분석한 결과, 추상적 시각 정보 처리 능력의 부족을 확인했습니다. 이는 향후 MLLM 발전 방향을 제시하는 중요한 연구 결과입니다.

최근 급속도로 발전하고 있는 멀티모달 대규모 언어 모델(MLLM)은 다양한 정보를 이해하고 처리하는 능력으로 주목받고 있습니다. 하지만, Zhang Yichi 등 연구진이 발표한 논문 "Abstractive Visual Understanding of Multi-modal Structured Knowledge: A New Perspective for MLLM Evaluation"은 기존 MLLM 평가 방식의 한계를 지적하며 새로운 평가 기준을 제시합니다.

기존의 MLLM 평가는 주로 단순한 과제 수행 능력에 초점을 맞춰왔습니다. 하지만, 실제 세계의 복잡한 문제 해결에는 시각적 정보와 구조화된 지식을 추상적으로 이해하고 통합하는 능력이 필수적입니다. 연구진은 이러한 점을 간파하고, 시각적 형태로 표현된 구조화된 지식을 이해하는 MLLM의 능력을 평가하는 새로운 벤치마크, M3STR (Multi-Modal Map for STRuctured understanding) 을 제안했습니다.

M3STR: 시각적 추상 이해의 새로운 기준

M3STR은 멀티모달 지식 그래프를 기반으로 합니다. 이 그래프는 다양한 모달리티(텍스트, 이미지 등)의 정보를 포함하는 여러 엔티티와 그들 사이의 관계를 나타냅니다. M3STR은 이 그래프의 서브그래프를 시각적으로 표현한 이미지를 생성하고, MLLM이 이 이미지를 통해 엔티티뿐 아니라 엔티티 간의 복잡한 관계까지 정확히 이해할 수 있는지 평가합니다. 단순한 이미지 인식을 넘어, 추상적이고 구조화된 시각적 정보를 이해하는 능력을 평가하는 것이 핵심입니다.

26개 최첨단 MLLM의 실험 결과: 추상적 이해 능력의 한계 드러내

연구진은 26개의 최첨단 MLLM을 M3STR 벤치마크로 평가했습니다. 결과는 놀랍게도, 대부분의 MLLM이 구조화된 지식을 가진 추상적 시각 정보를 처리하는 데 어려움을 겪는다는 것을 보여주었습니다. 이는 MLLM의 발전 방향을 제시하는 중요한 발견입니다. 단순한 정보 처리를 넘어, 복잡한 지식을 추상적으로 이해하고 통합하는 능력을 향상시켜야 함을 시사합니다.

앞으로의 발전 방향

본 연구는 MLLM의 추상적 시각적 이해 능력의 중요성을 강조하고, 이를 평가할 수 있는 새로운 기준을 제시했습니다. M3STR 벤치마크는 향후 MLLM의 발전 방향을 제시하는 중요한 이정표가 될 것입니다. 연구진은 M3STR 벤치마크의 코드와 데이터를 공개하여, AI 연구 커뮤니티의 발전에 기여하고 있습니다. (https://github.com/zjukg/M3STR)