거대 다중 모달 모델의 시각적 인지 능력: 놀라운 약점과 혁신적인 평가 프레임워크

마이크로소프트 연구진이 거대 다중 모달 모델(LMMs)의 그래픽 인지 능력에 대한 혁신적인 연구를 발표했습니다. 그 결과, GPT-4를 포함한 최첨단 LMMs가 차트 유형 일반화, 기본 시각 요소 이해, 차트 내 값 상호 참조 등에서 심각한 한계를 드러냈습니다. 연구진은 그래픽 인지 이론 기반의 새로운 평가 프레임워크를 제시하고, 향후 LMMs의 인지 능력 향상을 위한 중요한 지침을 제시했습니다. 평가 프레임워크와 데이터는 공개적으로 제공됩니다.

거대 다중 모달 모델(LMMs)의 시각적 인지 능력: 예상치 못한 한계와 혁신적인 해결책

최근 괄목할 만한 발전을 이룬 거대 다중 모달 모델(LMMs)은 지식, 추론, 인지 능력을 요구하는 복잡한 시각-언어 과제에서 놀라운 성능을 보여주고 있습니다. 하지만 마이크로소프트 연구진(Kai Zhang, Jianwei Yang 외)의 최신 연구는 이러한 모델들이 단순한 인지 능력만 필요한 인포그래픽 작업에서 예상치 못한 어려움을 겪는다는 사실을 밝혀냈습니다. 이는 기존 벤치마크가 주로 다양한 능력을 필요로 하는 최종 과제에 초점을 맞추어 모델의 세밀한 인지 능력에 대한 통찰력을 제공하지 못했기 때문입니다.

그래픽 인지 이론 기반의 혁신적인 평가 프레임워크

연구진은 이러한 문제를 해결하기 위해 인간이 차트와 그래프에 인코딩된 시각 정보를 해독하는 방식을 연구하는 그래픽 인지 이론을 활용했습니다. 이를 바탕으로 LMMs의 차트 인지 능력을 분석하는 평가 프레임워크를 개발하여 자동화된 과제 생성 및 응답 평가를 통해 다양한 차트 유형, 시각적 요소, 과제 유형에 걸쳐 LMMs의 그래픽 인지 능력을 포괄적이고 통제된 방식으로 테스트할 수 있도록 했습니다.

GPT-4 포함 최첨단 LMMs의 놀라운 약점들

연구진은 이 프레임워크를 사용하여 차트, 시각적 요소, 픽셀의 세 가지 수준에서 최첨단 LMMs(GPT-4 포함)의 인지 능력을 평가했습니다. 그 결과, 현재 최첨단 LMMs는 다음과 같은 중요한 한계점을 가지고 있음을 발견했습니다.

1. 차트 유형에 대한 일반화 실패: 다양한 유형의 차트에 대한 적응력이 부족합니다.
2. 기본적인 시각적 요소 이해 부족: 차트의 기본적인 시각적 요소를 제대로 이해하지 못하는 경우가 많습니다.
3. 차트 내 값 간의 상호 참조 실패: 차트 내의 여러 값들을 연관지어 이해하는 데 어려움을 겪습니다.

미래를 위한 중요한 통찰력과 공개된 리소스

이 연구는 LMMs의 인지 능력 향상을 위한 중요한 지침을 제공합니다. 더 나아가, 연구진은 개발한 평가 프레임워크와 레이블이 지정된 데이터를 https://github.com/microsoft/lmm-graphical-perception 에서 공개하여 전 세계 연구자들의 지속적인 연구를 촉진하고 있습니다. 이는 LMMs의 발전에 크게 기여할 것으로 기대됩니다. 이 연구는 단순한 기술적 진보를 넘어, 인공지능의 인지 능력에 대한 근본적인 이해를 심화시키는 중요한 이정표가 될 것입니다.