멀티모달 거대언어모델의 창의성 평가: 새로운 지평을 열다

본 기사는 멀티모달 거대언어모델(LLM)의 창의성 평가를 위한 새로운 프레임워크 'LoTbench'에 대한 최신 연구 결과를 소개합니다. '오오기리 게임'을 활용한 평가 플랫폼과 인과관계를 고려한 상호작용적 평가 방식을 통해 LLM의 창의성을 효과적으로 측정하고 시각화하는 방법을 제시하며, LLM과 인간의 창의성 간 격차 해소 가능성과 인지 이론과의 연관성을 강조합니다.

최근, 거대 언어 모델(LLM)의 논리적 추론 능력 평가를 위한 벤치마크가 쏟아져 나오고 있습니다. 하지만 LLM의 창의성, 특히 멀티모달(multimodal) 환경에서의 창의성 평가는 주관적이고 다양하며 데이터가 부족하다는 어려움에 직면해 있습니다. 중국과학원과 슬로베니아의 연구진이 공동으로 개발한 새로운 평가 프레임워크는 이러한 어려움에 대한 해결책을 제시합니다.

오오기리 게임: 연구진은 '오오기리 게임(Oogiri game)'이라는 독특한 방법을 활용했습니다. 오오기리 게임은 유머, 연상적 사고, 예상치 못한 반응 생성 능력을 필요로 하는 창의성 중심 과제입니다. 텍스트, 이미지 또는 둘 다를 입력으로 받아 창의적인 응답을 생성해야 하며, 기존의 고품질 인간이 작성한 창의적인 응답 데이터베이스를 활용하여 LLM의 창의성을 평가할 수 있는 이상적인 플랫폼이 됩니다.

LoTbench: 단순한 순위 매기기나 선택 이상의 것을 목표로, 연구진은 'LoTbench'라는 상호작용적이고 인과관계를 고려한 평가 프레임워크를 제안합니다. LoTbench는 기존 평가 방식의 정보 유출 및 해석력 부족과 같은 문제점을 해결하고, LLM의 창의성을 보다 효과적으로 정량화할 뿐만 아니라, 숨겨진 창의적 사고 과정까지 시각화합니다. 이를 통해 단순한 결과값 뿐 아니라, 모델의 사고 과정까지 이해할 수 있게 됩니다.

놀라운 결과: 연구 결과, 대부분의 LLM은 제한적인 창의성을 보이지만, LLM과 인간 간의 성능 격차는 극복 가능하다는 것을 확인했습니다. 또한, 멀티모달 인지 벤치마크인 MMMU와 LoTbench의 결과 간에는 강한 상관관계가 있지만, 기존의 창의성 측정 지표와는 약한 상관관계만을 보였습니다. 이는 LoTbench가 인간의 인지 이론과 더 잘 맞아떨어지며, 인지 능력이 창의성의 초기 단계에서 중요한 토대임을 강조합니다.

결론: 이 연구는 멀티모달 LLM의 창의성 평가에 대한 새로운 패러다임을 제시하며, LoTbench는 향후 LLM의 창의성 연구 및 개발에 중요한 역할을 할 것으로 기대됩니다. LoTbench 웹사이트에서 더 자세한 내용을 확인할 수 있습니다. 앞으로 LLM의 창의성 발전에 대한 기대와 더불어, 윤리적 함의에 대한 고려 또한 필요합니다. 창의적인 AI의 발전이 인류에게 어떤 영향을 미칠지, 우리는 끊임없이 질문하고 고민해야 합니다. 🤔