훈련과 추론, 모두 아우르는 AI 스케일링 법칙의 새로운 지평

Jun Wan 연구원의 논문은 콜모고로프 복잡도를 이용하여 AI 모델의 훈련 및 추론 스케일링 법칙을 통합적으로 분석했습니다. 모델 매개변수와 중간 토큰 수 증가가 튜링 머신 실행 단계 증가를 통해 복잡도 근사치를 향상시킨다는 것을 밝혀 AI 모델 개발에 새로운 방향을 제시합니다.

AI의 놀라운 발전과 스케일링 법칙의 통합

2020년, OpenAI는 AI 모델의 손실과 매개변수, 데이터, 훈련 연산 규모 간의 관계를 설명하는 첫 번째 스케일링 법칙을 제시했습니다. 이는 마치 거대한 성을 짓는 과정에서 벽돌(매개변수), 시멘트(데이터), 건설 인력(연산)의 양에 따라 성의 완성도(손실)가 달라지는 것과 같습니다. 하지만 이는 훈련 과정에만 국한된 이야기였죠.

2024년, OpenAI는 한 단계 더 나아가 모델 추론 성능과 추론 연산 간의 관계를 설명하는 두 번째 스케일링 법칙을 발표했습니다. 이제 완성된 성(AI 모델)을 사용하는 과정, 즉 성문을 통과하는 사람들의 속도(추론 성능)와 성문 관리 인력(추론 연산)의 관계를 밝힌 셈입니다.

그런데 만약 이 두 가지 스케일링 법칙이 서로 연결되어 있다면 어떨까요?

Jun Wan 연구원이 발표한 논문 "Unifying Two Types of Scaling Laws from the Perspective of Conditional Kolmogorov Complexity"는 바로 이 질문에 답을 제시합니다. 연구진은 조건부 콜모고로프 복잡도라는 손실 없는 압축 이론의 관점에서 LLM의 훈련 및 추론 과정을 분석했습니다. 이는 마치 거대한 성의 설계도를 가장 효율적으로 압축하는 방법을 찾는 것과 같습니다.

콜모고로프 복잡도: 압축의 예술

콜모고로프 복잡도란 어떤 정보를 가장 효율적으로 압축했을 때의 크기를 의미합니다. 연구는 놀랍게도 두 가지 스케일링 법칙 모두 튜링 머신의 실행 단계를 증가시킴으로써 조건부 콜모고로프 복잡도의 근사치를 향상시킨다는 것을 발견했습니다.

• 첫 번째 스케일링 법칙: 모델 매개변수의 증가는 튜링 머신의 실행 단계를 증가시켜 더욱 정교한 설계도(모델)를 만듭니다. 즉, 더 많은 벽돌을 사용하여 더욱 견고한 성을 건설하는 것과 같습니다.
• 두 번째 스케일링 법칙: 중간 토큰 수의 증가 또한 튜링 머신 실행 단계를 증가시켜 추론 과정을 더욱 효율적으로 만듭니다. 이는 성문 관리 인력을 증가시켜 사람들이 더 빠르게 통과할 수 있도록 하는 것과 같습니다.

결론적으로, 이 연구는 AI 모델의 훈련 및 추론 과정을 통합적으로 이해하는 새로운 관점을 제시합니다. 콜모고로프 복잡도라는 혁신적인 분석 도구를 통해 AI 발전의 근본적인 원리를 밝히고, 앞으로 더욱 효율적이고 강력한 AI 모델 개발의 길을 열어줄 것으로 기대됩니다.