거대 언어 모델의 한계를 넘어: 조합적 관계 추론의 새로운 지평


본 기사는 중국과학원 연구팀이 개발한 새로운 벤치마크 GAR을 통해 거대 언어 모델(LLM)의 조합적 관계 추론(CRR) 능력을 평가하고, 그 한계를 밝힌 연구 결과를 소개합니다. 연구팀은 어트리뷰션 패칭을 통해 LLM 내부의 핵심 회로와 중요 어텐션 헤드를 발견하고, 이들이 CRR에 미치는 영향을 분석했습니다. 이 연구는 LLM의 CRR 능력 향상을 위한 중요한 방향을 제시하며, 관련 데이터셋과 코드는 공개되어 있습니다.

related iamge

거대 언어 모델(LLM)의 조합적 관계 추론 능력, 과연 인간 수준일까요?

인간 지능의 핵심 요소 중 하나인 조합적 관계 추론(CRR) . 과연 최첨단 거대 언어 모델(LLM)들은 이러한 능력을 얼마나 갖추고 있을까요? 중국과학원의 니루이캉(Ruikang Ni) 박사 연구팀은 이 질문에 대한 답을 찾기 위해 새로운 벤치마크를 제시했습니다. 바로 GAR(Generalized Associative Recall) 입니다. GAR은 기존의 여러 기계적 해석 가능성(MI) 연구 과제들을 통합 및 일반화하여 만들어진 종합적인 벤치마크로, LLM의 CRR 능력을 체계적으로 탐구할 수 있도록 설계되었습니다.

놀라운 발견: LLM의 CRR 능력, 예상보다 훨씬 부족

연구 결과는 놀라웠습니다. GAR 평가 결과, 기존의 LLM들은 CRR 과제에서 심각한 부족함을 드러냈습니다. 이는 LLM의 CRR 능력에 대한 근본적인 의문을 제기하며, 향후 발전 방향을 모색해야 함을 시사합니다. 하지만 GAR은 동시에 체계적인 MI 연구에 충분히 용이하도록 설계되어 있어, LLM의 내부 동작 메커니즘을 이해하는 데 중요한 도구로 활용될 수 있습니다.

비밀을 밝히다: 어트리뷰션 패칭과 핵심 회로의 발견

연구팀은 어트리뷰션 패칭 기법을 사용하여 Vicuna-33B 모델에서 다양한 과제에 걸쳐 재사용되는 핵심 회로와 중요 어텐션 헤드를 발견했습니다. 흥미롭게도, 이러한 헤드들의 정상적인 작동 여부가 과제 수행 성능에 큰 영향을 미치는 것으로 나타났습니다. 특히, 연구팀은 GAR 과제에서 각각 참과 거짓을 나타내는 두 가지 유형의 어텐션 헤드를 발견했습니다. 이들은 다양한 모델과 과제에서 CRR에 근본적인 역할을 수행하는 것으로 확인되었습니다.

미래를 위한 발걸음: GAR, 새로운 연구의 시작

이 연구는 LLM의 CRR 능력에 대한 깊이 있는 이해를 제공하며, 향후 더욱 발전된 LLM 개발을 위한 중요한 이정표를 제시합니다. GAR 데이터셋과 코드는 GitHub(https://github.com/Caiyun-AI/GAR)에서 공개되어 있으며, 전 세계 연구자들의 활발한 참여를 기다리고 있습니다. 이번 연구를 통해, 우리는 LLM의 한계를 넘어 인간 지능에 더욱 가까운 AI 시스템을 개발하는 데 한 걸음 더 나아갈 수 있을 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Benchmarking and Understanding Compositional Relational Reasoning of LLMs

Published:  (Updated: )

Author: Ruikang Ni, Da Xiao, Qingye Meng, Xiangyu Li, Shihui Zheng, Hongliang Liang

http://arxiv.org/abs/2412.12841v1