극소수 매개변수의 놀라운 힘: 거대 언어 모델의 '마음 이론' 비밀

극소수의 매개변수 변화가 거대 언어 모델의 '마음 이론' 능력에 큰 영향을 미친다는 연구 결과가 발표되었습니다. 이 연구는 LLM의 ToM 능력이 특정 매개변수에 매우 민감하게 의존하며, 위치 인코딩 모듈과 밀접한 관련이 있음을 밝혔습니다. 이는 AI의 사회적 추론 능력 이해와 더 안전하고 효과적인 AI 시스템 개발에 중요한 의미를 갖습니다.

최근, 인공지능(AI) 분야에서 가장 뜨거운 감자 중 하나는 바로 거대 언어 모델(LLM) 의 '마음 이론'(Theory of Mind, ToM) 입니다. ToM이란 타인의 사고, 감정, 의도를 이해하는 능력을 말하는데, LLM이 이러한 능력을 어떻게 획득하는지, 그리고 그 메커니즘은 무엇인지에 대한 연구가 활발히 진행되고 있습니다.

중국과학원의 연구진(Wu, Guo, Liu, Ji, Xu, Zhang)은 "Sensitivity Meets Sparsity: The Impact of Extremely Sparse Parameter Patterns on Theory-of-Mind of Large Language Models" 라는 논문에서 LLM의 ToM 능력과 극도로 드문 매개변수 패턴의 관계를 흥미롭게 밝혀냈습니다.

연구진은 먼저 ToM에 민감한 매개변수들을 특정하는 새로운 방법론을 제시했습니다. 놀랍게도, 이러한 매개변수의 단 0.001%만 변화시켜도 LLM의 ToM 성능이 현저히 저하되는 것으로 나타났습니다. 단순히 ToM 성능뿐만 아니라 문맥 파악 및 언어 이해 능력까지도 함께 떨어졌다는 점은 주목할 만합니다.

그렇다면 이러한 ToM 민감 매개변수들은 어디에 위치하고, 어떤 역할을 할까요? 연구 결과에 따르면, 이 매개변수들은 위치 인코딩 모듈, 특히 Rotary Position Embedding(RoPE) 를 사용하는 모델에서 두드러지게 나타납니다. RoPE에서 ToM 민감 매개변수의 변화는 문맥 처리에 중요한 주파수 활성화를 방해하고, 결과적으로 ToM 능력 저하로 이어진다는 것입니다. 더 나아가, 연구진은 이 매개변수의 변화가 어텐션 메커니즘에도 영향을 미쳐, 위치 인코딩 하에서 쿼리와 키 사이의 각도를 조절함으로써 ToM 능력에 영향을 준다는 사실을 밝혔습니다.

이 연구는 LLM의 사회적 추론 능력에 대한 이해를 심화시키고, AI 해석성과 인지 과학을 연결하는 중요한 단서를 제공합니다. 또한, 모델 정렬 개선, 편향 완화, 그리고 인간과의 상호작용을 위한 AI 시스템 개선에도 시사하는 바가 큽니다. 단 0.001%의 매개변수 변화가 가져오는 엄청난 영향은, LLM의 복잡성과 그 안에 숨겨진 놀라운 메커니즘을 다시 한번 생각하게 만듭니다. 앞으로 이 연구를 발판 삼아, 더욱 안전하고 효과적인 AI 시스템 개발을 위한 노력이 계속될 것으로 기대됩니다.