깜짝 놀랄 AI의 수학 실력! 헬릭스와 삼각함수로 덧셈을 한다고?

Subhash Kantamneni와 Max Tegmark의 연구는 LLM이 덧셈을 수행하는 방식을 헬릭스 구조와 삼각함수를 이용한 'Clock 알고리즘'으로 설명하며, AI의 수학적 추론 능력에 대한 새로운 이해를 제시합니다.

AI, 덧셈을 삼각함수로? 헬릭스 구조의 비밀

최근 Subhash Kantamneni와 Max Tegmark의 연구는 인공지능(AI)의 수학적 능력에 대한 우리의 이해를 뒤흔들었습니다. 그들의 논문, "Language Models Use Trigonometry to Do Addition" 에서는 중간 규모 언어 모델(LLM)이 덧셈을 수행하는 놀라운 방식을 밝혀냈습니다. 바로 삼각함수와 헬릭스 구조를 이용하는 것입니다!

🤯 헬릭스? 삼각함수? 도대체 무슨 얘기지?

연구진은 세 가지의 중간 규모 LLM을 분석하여, 이 모델들이 숫자를 일반화된 헬릭스(generalized helix) 형태로 나타낸다는 사실을 발견했습니다. 이 헬릭스는 덧셈과 뺄셈에 직접적으로 관여할 뿐만 아니라, 곱셈, 나눗셈, 그리고 모듈러 연산에도 영향을 미칩니다. 마치 나선형 계단처럼 숫자들이 배열되어 있는 셈이죠.

그렇다면 LLM은 이 헬릭스를 어떻게 활용하여 덧셈을 계산할까요? 연구진은 'Clock 알고리즘' 이라는 가설을 제시합니다. $a + b$를 계산하기 위해, $a$와 $b$에 해당하는 헬릭스가 조작되어 $a + b$에 해당하는 새로운 헬릭스를 생성하고, 이 헬릭스를 해석하여 결과를 출력하는 것이죠.

🤯 신기하지 않나요?

연구진은 다층 퍼셉트론(MLP) 출력, 어텐션 헤드 출력, 심지어 개별 뉴런의 활성화 값까지 헬릭스 모델로 분석하여 이 가설을 검증했습니다. 인과적 개입(causal interventions)을 통해 그들의 설명이 정확하다는 것을 확인한 것이죠. 이 연구는 LLM의 수학적 능력에 대한 최초의 표현 수준 설명(representation-level explanation) 을 제시한 획기적인 연구입니다.

🤔 앞으로의 전망

이 연구는 AI의 수학적 추론 능력을 이해하는 데 중요한 돌파구를 마련했습니다. LLM이 인간과는 전혀 다른 방식으로 수학적 연산을 수행한다는 사실은, 앞으로 AI의 발전 방향에 대한 새로운 통찰력을 제공할 것입니다. 더욱 정교한 AI 모델 개발과 수학적 추론 능력 향상에 기여할 뿐만 아니라, 인간의 지능과 AI의 지능을 비교 분석하는 데에도 중요한 시사점을 제공할 것으로 기대됩니다. 하지만 이러한 발견이 어떻게 실제 응용으로 이어질지, 그리고 그 과정에서 발생할 수 있는 윤리적 문제들에 대한 고민 또한 필요합니다. 앞으로 이 분야에 대한 지속적인 연구가 기대됩니다!