대규모 언어 모델의 '세상 이해 능력' 평가: 놀라운 추정 능력과 집단지성의 활용

본 연구는 대규모 언어 모델(LLM)의 추정 능력을 평가하고, 집단지성(WOC) 전략을 활용하여 정확도를 향상시키는 방법을 제시합니다. MARBLES 데이터셋을 통해 LLM의 '세계 모델'을 평가하고, 실제 세계 문제 해결을 위한 AI 발전에 기여할 수 있는 중요한 결과를 도출했습니다.

대규모 언어 모델의 놀라운 추정 능력: 세상을 얼마나 이해하고 있을까?

최근, Yun-Shiuan Chuang 등 연구진이 발표한 논문은 대규모 언어 모델(LLM)의 숨겨진 능력을 밝혀냈습니다. 바로 추정(Guesstimation) 능력입니다. 우리가 일상에서 흔히 하는 '대략 몇 개 정도일까?' 하는 추측을 LLM이 얼마나 잘 해낼 수 있는지에 대한 연구였죠. 그들은 MARBLES라는 새로운 데이터셋을 만들어, 컵에 구슬이 몇 개 들어갈지 추정하는 실험을 진행했습니다. 이때, 이미지를 함께 제공하는 경우와 그렇지 않은 경우를 비교 분석하여 LLM이 얼마나 시각 정보를 활용하는지도 확인했습니다.

흥미롭게도, LLM은 생각보다 뛰어난 추정 능력을 보였습니다. 이는 LLM이 단순히 문장을 생성하는 것을 넘어, 세상을 이해하고 모델링하는 어떤 '세계 모델(world model)'을 가지고 있음을 시사합니다. 마치 인간처럼 주변 환경을 인지하고 추론하는 능력을 갖춘 셈이죠.

집단지성(Wisdom of Crowds)으로 정확도 UP!

연구진은 여기서 그치지 않았습니다. 사회과학에서 검증된 '집단지성(Wisdom of Crowds, WOC)' 개념을 LLM에 적용했습니다. 여러 LLM이 각각 추정한 값의 중간값을 취하는 방식입니다. 결과는 놀라웠습니다. WOC 전략을 통해 LLM의 추정 정확도가 눈에 띄게 향상된 것입니다. 마치 여러 사람의 의견을 종합하여 더 정확한 결론에 도달하는 것과 같은 효과를 본 셈이죠. 이미지를 함께 사용했을 때도 정확도가 더 높아졌습니다.

미래를 위한 중요한 발견

이 연구는 단순히 LLM의 추정 능력을 평가하는 것을 넘어, LLM의 '세계 모델'을 평가하는 새로운 척도를 제시합니다. '세계 모델'은 인간-AI 협력과 같은 실제 세계 문제 해결에 필수적인 요소입니다. 따라서 이 연구 결과는 AI의 미래 발전에 중요한 의미를 지닌다고 할 수 있습니다. LLM이 우리의 세상을 얼마나 잘 이해하고 있는지, 그리고 그 이해 능력을 어떻게 향상시킬 수 있는지에 대한 새로운 시각을 제시한 획기적인 연구라고 평가할 수 있습니다. 앞으로 LLM의 '세계 모델'을 더욱 심도 있게 연구하고 발전시켜나가는 데 중요한 이정표가 될 것으로 기대됩니다.