멀티모달 AI 창의성 평가의 새로운 기준: Creation-MMBench

중국과학원 연구진이 개발한 Creation-MMBench는 멀티모달 대규모 언어 모델(MLLM)의 창의성을 평가하는 새로운 벤치마크입니다. 실험 결과, 오픈소스 MLLM은 독점 모델에 비해 창의적 작업에서 성능이 떨어지며, 시각적 미세 조정은 오히려 창의성을 저해할 수 있음을 보여줍니다. Creation-MMBench는 MLLM의 창의성 향상 연구에 중요한 기여를 할 것으로 기대됩니다.

멀티모달 AI의 창의성, 과연 어디까지일까요?

인공지능의 발전은 놀라운 속도로 이루어지고 있습니다. 특히, 최근 주목받는 멀티모달 대규모 언어 모델(MLLM)은 이미지, 텍스트 등 다양한 형태의 정보를 이해하고 생성하는 능력을 갖추면서, 창의성이라는 영역까지 도전장을 내밀고 있습니다. 그러나 MLLM의 창의성을 객관적으로 평가할 수 있는 기준은 부족했습니다.

중국과학원 연구진의 획기적인 연구:

이러한 문제를 해결하기 위해, 중국과학원의 Xinyu Fang 등 연구진은 Creation-MMBench라는 멀티모달 벤치마크를 개발했습니다. 이 벤치마크는 실제 이미지 기반 작업에서 MLLM의 창의성을 측정하기 위해 51개의 세분화된 작업과 765개의 테스트 사례로 구성되어 있습니다. 각 테스트 사례에는 인스턴스별 평가 기준이 적용되어, 응답의 품질과 시각적 입력과의 일관성을 정확하게 평가할 수 있습니다.

놀라운 결과:

연구 결과는 매우 흥미롭습니다. Creation-MMBench를 통해 평가한 결과, 현재 공개된 오픈소스 MLLM은 독점 모델에 비해 창의적인 작업에서 현저히 낮은 성능을 보였습니다. 또한, 시각적 미세 조정(visual fine-tuning)이 기본 LLM의 창의성에 부정적인 영향을 미칠 수 있다는 사실도 밝혀졌습니다. 이는 MLLM의 창의성 향상을 위한 새로운 연구 방향을 제시하는 중요한 발견입니다.

미래를 위한 발걸음:

Creation-MMBench는 MLLM의 창의성을 평가하는 새로운 기준을 제시함으로써, AI 연구에 중요한 이정표를 세웠습니다. 이 벤치마크는 MLLM의 창의성 향상을 위한 연구 개발에 활용될 뿐만 아니라, 멀티모달 생성 지능의 발전에 중요한 역할을 할 것으로 기대됩니다. 연구진은 Creation-MMBench의 데이터와 평가 코드를 공개하여 (https://github.com/open-compass/Creation-MMBench) 전 세계 연구자들의 참여와 발전을 촉구하고 있습니다. 앞으로 MLLM의 창의성은 어디까지 발전할까요? Creation-MMBench는 그 답을 찾아가는 중요한 길잡이가 될 것입니다.