획기적인 LLM 미세조정 기술 등장: 일반 지능 유지하며 도메인 특화 학습 성공!

Song Shezheng 등 연구진이 개발한 새로운 LLM 미세조정 기술은 계층별 및 요소별 정규화를 통해 파괴적 망각 문제를 해결하고, 기존 방법보다 20배 빠르고 저장 용량을 10~15%로 줄였습니다. GPT-J와 LLaMA-3를 이용한 실험에서 효과가 입증되었으며, 코드 공개를 통해 폭넓은 활용이 기대됩니다.

대규모 언어 모델(LLM)의 숙제: 파괴적 망각 극복

최근 급속한 발전을 이룬 대규모 언어 모델(LLM)은 놀라운 일반 언어 능력을 자랑하지만, 특정 도메인에 맞춰 미세 조정하는 과정에서 '파괴적 망각'이라는 심각한 문제에 직면합니다. 이는 사전 학습 과정에서 축적된 중요한 지식이 새롭게 학습된 내용에 의해 덮어쓰여지거나 손실되는 현상으로, LLM의 활용 범위를 크게 제약하는 요인입니다.

Song Shezheng 등 8명의 연구진이 발표한 논문 "How to Complete Domain Tuning while Keeping General Ability in LLM: Adaptive Layer-wise and Element-wise Regularization"은 이러한 문제에 대한 혁신적인 해결책을 제시합니다.

핵심 전략: 계층별 및 요소별 정규화

연구진은 모델 매개변수의 중요도를 계층별 및 요소별로 정확히 분석하여 일반 지식 보존과 도메인 특화 적응을 동시에 달성하는 기술을 개발했습니다. 이를 위해 다음 두 가지 핵심 전략을 활용했습니다.

1. 일반 지식 보존을 위한 정규화 손실: 일반 지식 유지에 중요한 매개변수를 보호하기 위한 정규화 손실 함수를 도입했습니다.
2. 도메인 특화 작업 적응을 위한 교차 엔트로피 손실: 도메인 특화 작업에 대한 적응력을 높이기 위해 교차 엔트로피 손실 함수를 활용했습니다.

또한, 각 계층의 기여도를 고려한 계층별 계수를 도입하여 두 가지 손실 함수 간의 균형을 동적으로 조절함으로써 최적의 성능을 달성합니다. GPT-J와 LLaMA-3를 이용한 과학, 의학, 물리학 분야 실험 결과, 이 방법은 파괴적 망각을 완화하면서 모델의 적응력을 향상시키는 것으로 나타났습니다.

놀라운 효율성: 속도와 저장 용량의 혁신

가장 주목할 만한 점은 이 방법의 놀라운 효율성입니다. 기존 방법과 비교했을 때, 속도는 약 20배 향상되었고, 저장 용량은 10~15%만 필요합니다. 이는 실제 응용에 있어 매우 중요한 장점입니다. 연구진은 향후 코드 공개를 통해 더욱 폭넓은 활용을 지원할 예정입니다.

이 연구는 LLM의 한계를 극복하고 그 활용 가능성을 더욱 확장하는 중요한 발걸음으로 평가되며, 앞으로 AI 기술 발전에 큰 영향을 미칠 것으로 기대됩니다.