딥러닝의 딜레마: 거대 언어 모델의 '깊이의 저주' 극복 가능할까?

본 기사는 Sun 등 연구진의 논문 "The Curse of Depth in Large Language Models"을 바탕으로, 거대 언어 모델(LLM)에서 나타나는 '깊이의 저주' 현상과 그 원인, 그리고 해결책을 소개합니다. Pre-Layer Normalization(Pre-LN)의 문제점과 LayerNorm Scaling 기법을 통해 LLM의 성능 향상을 이끌어낸 연구 결과를 중심으로, LLM 발전에 대한 새로운 시각을 제시합니다.

최근 인공지능(AI) 분야에서 가장 주목받는 기술 중 하나인 거대 언어 모델(LLM)의 발전은 눈부십니다. 하지만 이러한 눈부신 발전 뒤에는 숨겨진 딜레마가 존재합니다. 바로 **'깊이의 저주'**입니다. Sun 등 연구진이 발표한 논문 "The Curse of Depth in Large Language Models"에 따르면, 놀랍게도 최신 LLM의 절반 가까운 레이어가 기대만큼 효과적이지 않다는 사실이 밝혀졌습니다.

Llama, Mistral, DeepSeek, Qwen… 깊이가 곧 성능은 아니다

연구진은 Llama, Mistral, DeepSeek, Qwen과 같은 인기 LLM을 분석하여 이러한 현상이 광범위하게 나타난다는 것을 확인했습니다. 그동안 LLM의 성능 향상은 모델의 깊이를 늘리는 것에 초점을 맞춰왔습니다. 마치 고층 빌딩을 짓듯 더 많은 레이어를 쌓아 올리면 더 강력한 성능을 기대했던 것입니다. 그러나 이 논문은 이러한 통념에 정면으로 도전합니다. 깊이가 무조건 성능과 비례하지 않는다는 것을 보여주는 것입니다. 이는 마치 100층짜리 빌딩을 지었지만, 실제로 사용 가능한 층은 50층에 불과한 것과 같습니다. 엄청난 자원 낭비일 뿐만 아니라, 효율성 측면에서도 심각한 문제입니다.

Pre-Layer Normalization(Pre-LN)의 함정

연구진은 이러한 현상의 원인으로 Pre-Layer Normalization(Pre-LN) 을 지목합니다. Pre-LN은 Transformer LLM의 학습 안정성을 높이는 데 기여하지만, 모델의 깊이가 깊어질수록 출력 분산이 기하급수적으로 증가하는 문제점이 있습니다. 이로 인해 깊은 Transformer 블록의 미분이 단위 행렬이 되어 학습에 거의 기여하지 못하게 되는 것입니다.

이는 마치 자동차 엔진의 연료 분사 시스템이 잘못되어, 엔진의 일부 실린더가 제대로 작동하지 않는 것과 같은 상황입니다. 아무리 좋은 엔진이라도 일부 실린더가 작동하지 않으면 전체 성능이 저하될 수밖에 없습니다. 깊은 레이어들도 마찬가지입니다.

LayerNorm Scaling: 간단한 해결책, 놀라운 효과

연구진은 이러한 문제를 해결하기 위해 LayerNorm Scaling이라는 새로운 기법을 제안했습니다. 이는 레이어 정규화 출력의 분산을 깊이 제곱근의 역수만큼 조정하는 매우 간단한 방법입니다. 이 작은 변화가 놀라운 효과를 가져옵니다. LayerNorm Scaling을 적용함으로써 깊은 레이어가 학습에 더 효과적으로 기여할 수 있게 되었습니다. 실험 결과, 1억 3천만 개에서 10억 개에 이르는 다양한 크기의 모델에서 LayerNorm Scaling이 Pre-LN에 비해 LLM의 사전 학습 성능을 크게 향상시키는 것으로 나타났습니다. 또한, 지도 학습 미세 조정에도 이러한 성능 향상이 그대로 이어졌습니다.

이 연구는 거대 언어 모델의 발전에 있어서 단순히 깊이만을 추구하는 것이 아니라, 효율성과 안정성을 동시에 고려해야 함을 강조합니다. LayerNorm Scaling은 이러한 측면에서 중요한 시사점을 제공하며, 향후 LLM 연구에 새로운 방향을 제시할 것으로 기대됩니다. 더 깊고, 더 강력한, 하지만 더 효율적인 LLM의 시대가 LayerNorm Scaling을 통해 더 빨리 다가올 수 있을 것입니다.