멀티모달 대규모 언어 모델의 창의성을 평가하는 새로운 벤치마크, Creation-MMBench

중국과학원 연구진이 개발한 Creation-MMBench는 멀티모달 대규모 언어 모델(MLLM)의 창의성을 평가하는 새로운 벤치마크입니다. 765개의 테스트 사례를 통해 오픈소스 MLLM의 창의성이 독점 모델에 비해 낮고, 시각적 미세 조정이 부정적 영향을 미칠 수 있음을 밝혔습니다. GitHub에서 공개된 데이터와 코드를 통해 MLLM의 창의성 연구가 더욱 발전할 것으로 기대됩니다.

Creation-MMBench: 멀티모달 모델의 창의성을 측정하는 새로운 기준

인공지능(AI)의 창의성, 상상만 해도 놀라운 발전입니다. 최근 급속도로 발전하는 대규모 언어 모델(LLM)은 놀라운 능력을 보여주지만, 그 창의성을 제대로 평가하는 기준은 부족했습니다. 특히 이미지와 같은 다양한 정보를 처리하는 멀티모달 대규모 언어 모델(MLLM) 의 창의성 평가는 더욱 미개척 분야였죠.

하지만 이제 중국과학원(CAS) 의 연구진이 개발한 Creation-MMBench 덕분에 MLLM의 창의성을 객관적으로 평가할 수 있게 되었습니다. Fang Xinyu 박사를 비롯한 13명의 연구자들은 51가지 세부 과제에 걸쳐 765개의 테스트 사례를 포함하는 이 벤치마크를 통해 MLLM의 실제 이미지 기반 작업에서의 창의성을 평가했습니다. 각 테스트 사례에는 구체적인 평가 기준이 있어, 응답의 전반적인 품질과 시각적 입력과의 일관성을 모두 평가할 수 있도록 설계되었습니다.

연구 결과는 놀라웠습니다. 현재 공개된 오픈소스 MLLM들은 독점 모델에 비해 창의적인 작업에서 상당히 낮은 성능을 보였습니다. 더욱 흥미로운 점은 시각적 미세 조정(Visual Fine-tuning) 이 기본 LLM의 창의적인 능력에 부정적인 영향을 미칠 수 있다는 사실을 발견했습니다. 이는 시각 정보를 추가적으로 학습시키는 것이 오히려 창의성을 저해할 수 있다는 것을 시사하며, 앞으로 MLLM의 창의성 향상을 위한 새로운 접근법을 모색해야 함을 보여줍니다.

Creation-MMBench는 단순한 벤치마크를 넘어, MLLM의 창의성 향상을 위한 중요한 이정표입니다. GitHub(https://github.com/open-compass/Creation-MMBench)에서 전체 데이터와 평가 코드를 공개하여, 전 세계 연구자들이 MLLM의 창의성 발전에 기여할 수 있도록 지원하고 있습니다. 이 연구는 AI의 창의성이라는 미지의 영역을 탐험하는 데 한 걸음 더 나아가는 중요한 발걸음이라고 할 수 있습니다. 앞으로 MLLM의 창의성 연구가 어떻게 발전할지 기대됩니다! 🎉