혁신적인 AI 모델 PLDR-LLM: 자체 신경망을 대체하는 텐서 연산자 학습

Burc Gokden의 연구는 PLDR-LLM이라는 새로운 AI 모델이 자체 심층 신경망을 대체하는 텐서 연산자를 학습하여 추론 속도를 향상시키고 일반화 가능성을 높였다는 것을 보여줍니다. 이는 G-cache와 KV-cache를 통한 효율적인 캐싱 기법과, 학습된 텐서의 높은 불변성을 특징으로 합니다. SDPA 기반 LLM은 PLDR-LLM의 특수한 경우로, 훈련 및 추론 단계 간의 새로운 비대칭성을 제시합니다.

최근 AI 분야에서 괄목할 만한 성과가 발표되었습니다. Burc Gokden의 연구에 따르면, PLDR-LLM(Power Law Decoder Representations Large Language Model) 이라는 새로운 모델이 자체 심층 신경망을 대체할 수 있는 일반화 가능한 텐서 연산자를 학습하는 데 성공했습니다. 이는 AI 모델의 추론 과정에 대한 패러다임을 바꿀 잠재력을 지닌 획기적인 발견입니다.

PLDR-LLM은 추론 결과가 작은 변동을 제외하고 불변의 텐서임을 보여줍니다. 특히, 추론된 에너지-곡률 텐서 **$\mathbf{G}_{LM}$**이 PLGA(power law graph attention) 심층 신경망을 대체하여 추론 과정을 수행할 수 있는 특이점 조건을 학습합니다. 이를 통해 G-cache와 KV-cache를 구현하여 추론 시간을 크게 단축할 수 있습니다. 놀랍게도, 캐싱 후에도 추론 결과의 RMSE와 행렬식 값은 소수점 15자리까지 동일하게 유지되며, 제로샷 벤치마크 점수도 변함없이 유지됩니다.

추가적으로, 전이 학습된 텐서, 무작위로 초기화된 텐서, 또는 항등 텐서를 상수 텐서 연산자로 사용하여 사전 훈련된 모델과 비교 분석한 결과, 학습된 추론 결과는 별개의 손실 및 정확도 특성을 보이는 것으로 나타났습니다. 흥미롭게도, Scaled-Dot-Product Attention (SDPA) 기반의 LLM은 **$\mathbf{G}_{LM}$**이 항등 텐서로 사전 정의된 PLDR-LLM의 특수한 경우로 간주될 수 있습니다.

이러한 불변성 특징은 캐싱을 통해 훈련과 추론 단계 사이에 새로운 비대칭성을 도입합니다. 연구팀은 학습된 특이점 조건에 대한 추론 결과의 공통적인 특징들을 제시하고, KV-cache와 G-cache를 포함한 PLDR-LLM의 훈련 및 추론 프레임워크를 구현했습니다.

이 연구는 AI 모델의 추론 효율성을 획기적으로 향상시키는 동시에, 모델의 일반화 가능성과 해석 가능성을 높이는 중요한 전기를 마련했습니다. 앞으로 PLDR-LLM과 같은 새로운 모델들이 다양한 분야에서 활용될 것으로 기대되며, AI 기술 발전에 크게 기여할 것으로 예상됩니다.