난수 생성기로서의 거대 언어 모델: 결정론적일까, 확률적일까?

거대 언어 모델(LLM)의 난수 생성 능력에 대한 연구 결과, LLM이 예상과 달리 결정론적인 측면을 보이며 인간의 인지적 편향을 반영한다는 사실이 밝혀졌습니다. 이 연구는 LLM의 한계와 발전 방향을 제시하는 중요한 의미를 지닙니다.

자연어 처리 분야의 혁신을 이끈 거대 언어 모델(LLM)은 인간의 자연스러운 언어를 모방하며 텍스트를 생성합니다. 하지만, 이러한 모델이 진정으로 '확률적'일까요? 최근 발표된 논문 "Deterministic or probabilistic? The psychology of LLMs as random number generators"는 이 질문에 대한 놀라운 답을 제시합니다.

Javier Coronado-Blázquez가 이끄는 연구팀은 다양한 LLM이 난수를 생성하는 성능을 체계적으로 조사했습니다. 모델 아키텍처, 숫자 범위, 온도, 프롬프트 언어 등 다양한 구성을 고려하여 실험을 진행한 결과, 놀랍게도 확률적 변환기 기반 아키텍처를 가진 LLM이 난수 생성 요청에 대해 종종 결정론적 반응을 보인다는 것을 발견했습니다!

특히, 모델과 프롬프트 언어를 변경할 때 상당한 차이가 나타났는데, 이는 학습 데이터에 깊이 뿌리내린 편향 때문으로 분석됩니다. 즉, LLM은 우리 인간의 인지적 편향을 그대로 재현하고 있는 것입니다. 이러한 편향은 예측 가능한 패턴을 유발하여 진정한 무작위성을 저해합니다.

흥미롭게도, DeepSeek-R1과 같은 모델은 LLM의 내부 추론 과정을 이해하는 데 도움을 줄 수 있습니다. 비슷한 결과에 도달하더라도, 이러한 모델을 통해 LLM이 난수를 생성하는 과정의 내부 메커니즘을 엿볼 수 있는 것입니다.

결론적으로, 이 연구는 LLM이 난수 생성에 있어서 완벽하게 확률적이지 않으며, 인간의 인지적 편향이 LLM의 행동에 상당한 영향을 미친다는 것을 보여줍니다. 이는 LLM의 한계이자 동시에 우리 자신의 편향을 이해할 수 있는 중요한 통찰을 제공합니다. 앞으로 LLM의 개발과 응용에 있어 이러한 편향을 고려하는 것이 중요하며, 더욱 객관적이고 신뢰할 수 있는 결과를 얻기 위한 노력이 필요합니다. 이 연구는 LLM에 대한 우리의 이해를 한 단계 더 끌어올리는 중요한 발걸음입니다.