대형 언어 모델(LLM)의 인과적 및 구성적 추론 능력 분석: 도구 사용 능력을 중심으로

본 연구는 LLM의 인과적 및 구성적 추론 능력을 평가하기 위해, 물체의 기능(affordances)에 대한 두 가지 실험을 진행했습니다. 그 결과, GPT-4o는 체인 오브 스로트 프롬프팅 하에서 인간 수준의 성능을 보였으며, '방해 요소' 조건에서도 우수한 성능을 유지했습니다. 하지만 '이미지' 조건은 Claude 3.5의 정확도를 저하시켰습니다. 이는 LLM의 발전과 한계를 동시에 보여주는 결과로, LLM의 추론 메커니즘에 대한 추가 연구가 필요함을 시사합니다.

놀라운 LLM의 진화: 도구를 넘어, 사고의 영역으로

최근 대형 언어 모델(LLM)의 발전 속도는 놀랍습니다. Magnus F. Gjerde, Vanessa Cheung, David Lagnado 세 연구자는 LLM의 능력과 한계를 이해하기 위해, 물체의 기능(affordances) 에 대한 인과적 및 구성적 추론 능력을 심층적으로 분석했습니다. 물체의 기능이란, 특정 물체가 특정 목적에 어떻게 사용될 수 있는지를 의미하는데, 이는 전통적으로 구현된 인지(embodied cognition) 와 관련된 분야입니다.

연구진은 데이터 오염을 피하기 위해 새롭게 설계된 두 가지 실험을 진행했습니다. 실험 참가자들은 탁구채로 구멍을 파는 등, 전형적인 도구 대신 비전통적인 물체를 선택해야 하는 과제를 수행했습니다.

첫 번째 실험에서는 GPT-3.5와 GPT-4o를 평가했습니다. 놀랍게도, GPT-4o는 체인 오브 스로트(chain-of-thought) 프롬프팅을 사용했을 때 인간 참가자와 동등한 수준의 성능을 보였습니다. 반면 GPT-3.5는 상당히 낮은 성능을 보였습니다. 이는 LLM의 발전이 얼마나 급속도로 이루어지고 있는지를 보여주는 중요한 결과입니다.

두 번째 실험에서는 '방해 요소'(Distractor: 더 많은 물체 선택지 제공)와 '이미지'(Image: 시각적으로 물체 선택지 제시)라는 두 가지 새로운 조건을 추가하여 GPT 모델 외에 Claude 3 Sonnet과 Claude 3.5 Sonnet도 평가했습니다.

'방해 요소' 조건은 인간과 모델 모두의 성능을 저하시켰지만, GPT-4o와 Claude 3.5는 여전히 우연보다 훨씬 나은 성능을 유지했습니다. 이는 LLM이 어느 정도의 난이도에도 대처할 수 있는 능력을 갖추고 있음을 시사합니다.

하지만, '이미지' 조건은 인간이나 GPT-4o에는 거의 영향을 미치지 않았지만, Claude 3.5의 정확도를 현저히 낮췄습니다. 이러한 결과는 모델 간의 차이점과 이미지 처리 능력의 중요성을 보여줍니다.

정성적 분석 결과, GPT-4o와 Claude 3.5는 이전 모델들보다 인과적으로 관련된 물체의 속성을 식별하고 유연하게 적용하는 능력이 훨씬 뛰어났습니다. GPT-3.5와 Claude 3에서 GPT-4o와 Claude 3.5로의 향상은, 특정 영역에서 LLM의 인과적 및 구성적 추론 능력이 증가하고 있음을 시사합니다. 그러나 LLM이 어떻게 추론하는지에 대한 메커니즘 연구는 앞으로 더 필요합니다. LLM의 놀라운 발전은 단순한 도구 사용을 넘어, 인간의 사고 과정에 대한 깊이 있는 이해와 새로운 가능성을 제시하고 있습니다.