거대 언어 모델의 창의성을 측정하는 혁신적인 방법: 오기리 게임과 LoTbench

본 기사는 다중 모달 거대 언어 모델(LLM)의 창의성을 평가하는 혁신적인 방법론에 대한 연구 결과를 소개합니다. 오기리 게임과 LoTbench라는 새로운 평가 플랫폼 및 프레임워크를 통해 LLM의 창의성을 더욱 정확하고 효과적으로 평가하고 시각화할 수 있음을 보여줍니다. 연구 결과는 LLM과 인간의 창의성 차이를 명확히 제시하며, 인지 능력이 창의성의 핵심 요소임을 강조합니다.

거대 언어 모델(LLM)의 창의성 평가: 새로운 지평을 열다

최근 급속한 발전을 거듭하는 거대 언어 모델(LLM)은 이제 단순한 정보 처리를 넘어, 창의적인 콘텐츠 생성 능력까지 요구받고 있습니다. 하지만 LLM의 창의성을 객관적으로 평가하는 것은 매우 어려운 과제였습니다. 기존 평가 방식은 주로 논리적 추론 능력에 집중했을 뿐, 창의성의 다양하고 주관적인 측면을 충분히 반영하지 못했습니다.

황종찬 등 연구진이 발표한 논문 "다중 모달 거대 언어 모델의 창의성 평가를 위한 인과 관계 인식 패러다임"은 이러한 한계를 극복하기 위한 획기적인 시도입니다. 이 연구는 특히 다양한 모달리티(텍스트, 이미지 등)를 처리하는 LLM의 창의성 평가에 초점을 맞추고 있습니다.

오기리 게임: 창의성 평가의 새로운 기준

연구진은 창의적인 응답을 도출해야 하는 '오기리 게임'을 평가 플랫폼으로 활용했습니다. 유머, 연상 능력, 예측 불가능한 응답 생성 능력 등을 요구하는 오기리 게임은 LLM의 입출력 구조와 잘 맞아떨어지며, 풍부한 양질의 인간이 작성한 창의적인 응답 데이터를 활용할 수 있다는 장점이 있습니다. 이는 LLM의 창의성을 측정하는 데 매우 효과적인 방법론을 제시합니다.

LoTbench: 인과 관계를 고려한 상호작용적 평가 프레임워크

단순한 순위 매기기나 선택을 넘어, 연구진은 LoTbench라는 새로운 평가 프레임워크를 제시했습니다. LoTbench는 정보 유출이나 해석의 어려움과 같은 기존 평가 방식의 한계를 극복하기 위해 인과 관계를 고려한 상호 작용적인 접근 방식을 채택했습니다. LLM의 창의성을 정량적으로 평가할 뿐만 아니라, LLM의 창의적인 사고 과정을 시각화하여 더욱 깊이 있는 분석을 가능하게 합니다.

놀라운 결과와 시사점

연구 결과, 대부분의 LLM은 제한적인 창의성을 보였지만, LLM과 인간의 성능 차이는 극복할 수 없는 수준이 아니라는 것을 발견했습니다. 또한, 다중 모달 인지 벤치마크(MMMU)와 LoTbench의 결과 간에는 강한 상관관계가 있었지만, 기존의 창의성 측정 지표와는 약한 상관관계만을 보였습니다. 이는 LoTbench가 인간의 인지 이론과 더 잘 맞아떨어지며, 인지 능력이 창의성의 초기 단계에서 중요한 역할을 한다는 것을 시사합니다. LoTbench는 다양한 개념을 연결하는 데 도움을 주어, LLM의 창의성 평가에 새로운 기준을 제시합니다. 자세한 내용은 https://lotbench.github.io 에서 확인할 수 있습니다.

이는 LLM의 창의성 평가에 대한 새로운 패러다임을 제시하며, 앞으로 LLM의 발전 방향에 중요한 영향을 미칠 것으로 예상됩니다.