Mix-LN: 더 깊은 계층의 잠재력을 깨우는 혁신적인 정규화 기법
Pengxiang Li, Lu Yin, Shiwei Liu 연구팀이 개발한 Mix-LN은 Pre-LN과 Post-LN의 장점을 결합한 새로운 정규화 기법으로, LLM의 깊은 계층의 효율성을 높여 모델 성능을 향상시킵니다. 다양한 크기의 모델에서 우수한 성능을 보이며, SFT와 RLHF에서도 효과적임을 입증했습니다.

더 깊은 계층의 잠재력을 깨우는 혁신적인 정규화 기법: Mix-LN
최근 대규모 언어 모델(LLM) 분야에서 놀라운 발전이 이루어졌지만, Pengxiang Li, Lu Yin, Shiwei Liu 연구팀은 흥미로운 사실을 발견했습니다. 바로 LLM의 깊은 계층이 전체 성능에 거의 기여하지 않고, 제거해도 성능 저하가 거의 없다는 점입니다. 이를 단순한 모델 경량화의 기회로 보는 시각도 있지만, 연구팀은 이를 Pre-Layer Normalization (Pre-LN)의 한계로 보고 있습니다.
연구팀은 GPT나 LLaMA와 같은 모델에서 널리 사용되는 Pre-LN이 깊은 계층에서 기울기 규범(gradient norm)을 감소시켜 효율성을 떨어뜨린다는 것을 밝혀냈습니다. 반면 Post-Layer Normalization (Post-LN)은 깊은 계층에서 더 큰 기울기 규범을 유지하지만, 초기 계층에서는 기울기 소실 문제를 겪습니다.
이러한 문제를 해결하기 위해, 연구팀은 Mix-LN이라는 새로운 정규화 기법을 제시했습니다. Mix-LN은 동일한 모델 내에서 Pre-LN과 Post-LN의 장점을 결합합니다. 초기 계층에는 Post-LN을, 깊은 계층에는 Pre-LN을 적용하여 계층 전반에 걸쳐 균일한 기울기를 확보합니다. 이를 통해 얕은 계층과 깊은 계층 모두 효과적으로 학습에 기여할 수 있게 됩니다.
7천만(70M) 파라미터부터 70억(7B) 파라미터에 이르는 다양한 크기의 모델에 대한 실험 결과, Mix-LN은 Pre-LN과 Post-LN보다 일관되게 우수한 성능을 보였습니다. 이는 네트워크 전체에서 더욱 균형 있고 건강한 기울기 규범을 조성하고, LLM 사전 학습의 전반적인 품질을 향상시킨다는 것을 의미합니다.
더 나아가, Mix-LN으로 사전 학습된 모델은 지도 학습 미세 조정(SFT) 및 인간 피드백 강화 학습(RLHF)에서도 Pre-LN 또는 Post-LN을 사용한 모델보다 더 나은 학습 성과를 보였습니다. 이는 고품질의 깊은 계층의 중요성을 강조하는 결과입니다.
Mix-LN은 기존 LLM에서 깊은 계층의 비효율성을 효과적으로 해결하여 모델 크기를 늘리지 않고도 모델의 용량을 향상시킵니다. 연구팀은 Mix-LN의 코드를 GitHub(https://github.com/pixeli99/MixLN)에 공개했습니다. 이 혁신적인 연구는 LLM의 성능 향상에 새로운 가능성을 제시하며, 앞으로의 발전이 기대됩니다.
Reference
[arxiv] Mix-LN: Unleashing the Power of Deeper Layers by Combining Pre-LN and Post-LN
Published: (Updated: )
Author: Pengxiang Li, Lu Yin, Shiwei Liu
http://arxiv.org/abs/2412.13795v1