숫자란 무엇인가? 대규모 언어 모델의 숫자 인식에 대한 흥미로운 연구

본 연구는 대규모 언어 모델(LLM)이 숫자를 문자열과 숫자적 의미를 혼합하여 표현하는 '얽힘 표현' 현상을 밝히고, 이것이 LLM의 의사결정에 미치는 영향을 분석합니다. LLM의 숫자 처리 능력 향상을 위한 중요한 연구 결과입니다.

Raja Marjieh, Veniamin Veselovsky, Thomas L. Griffiths, Ilia Sucholutsky가 공동으로 진행한 최근 연구는 대규모 언어 모델(LLM)이 숫자를 어떻게 이해하는지에 대한 놀라운 통찰력을 제공합니다. 우리가 일상적으로 사용하는 숫자는 LLM에게는 생각보다 복잡한 문제입니다. 예를 들어, '911'이라는 숫자는 비상 전화번호이기도 하지만, 단순한 숫자 '911'이기도 합니다. 이러한 문맥에 따른 숫자의 다중적 의미가 LLM의 숫자 인식에 어떤 영향을 미칠까요?

연구팀은 인지과학에서 사용되는 유사성 기반 프롬프팅 기법을 활용하여 LLM이 숫자를 문자열과 숫자적 의미를 혼합하여 표현한다는 것을 발견했습니다. 이를 연구팀은 **'얽힘 표현'**이라고 명명했습니다. 이 얽힘 표현은 LLM이 정수 쌍에 대한 유사성 판단을 내릴 때, Levenshtein 편집 거리(문자열 유사성 측정)와 로그 선형 거리(숫자적 유사성 측정)의 조합으로 설명될 수 있다는 것을 의미합니다. 즉, LLM은 숫자를 단순히 숫자로만 인식하지 않고, 문자열로서의 특징 또한 동시에 고려한다는 것입니다.

연구에서는 이러한 얽힘 표현이 LLM의 잠재적 임베딩에 어떻게 반영되는지, 문맥에 따라 어떻게 줄일 수 있는지(하지만 완전히 제거할 수는 없는지), 그리고 실제 의사 결정 시나리오에 어떻게 영향을 미치는지에 대한 실험 결과를 제시합니다. '911'이라는 숫자를 단순한 숫자로 처리할지, 비상 전화번호로 처리할지는 문맥에 따라 달라지겠죠. 하지만 LLM은 이 두 가지 의미를 완전히 분리해서 처리하지 못하고, 어느 정도 혼합된 상태로 이해하고 있다는 것이 핵심입니다.

이 연구는 변환기 모델(Transformer model)이 텍스트 입력으로부터 숫자의 의미를 학습해야 하는 과정에서 발생하는 표상적 긴장에 대한 귀중한 통찰력을 제공합니다. 이는 LLM의 발전과 실제 응용에 중요한 함의를 지닙니다. 앞으로 LLM이 더욱 정교하고 정확한 숫자 처리 능력을 갖추기 위해서는 이러한 얽힘 표현에 대한 더욱 깊이 있는 이해와 해결책 마련이 필요할 것입니다. 이 연구는 그 첫걸음이라고 할 수 있습니다.