대규모 언어 모델의 혁신: SECURA 알고리즘의 등장

Zhang Yuxuan과 Li Ruizhe가 개발한 SECURA는 SigNorm을 활용하여 기존 LoRA의 한계를 극복한 새로운 PEFT 기법으로, 다양한 과제에서 우수한 성능과 지식 유지 능력을 보여주었습니다.

최근 급속한 발전을 거듭하는 대규모 언어 모델(LLM)은 그 막대한 계산량으로 인해 완전 미세 조정(FT)이 점점 어려워지고 있습니다. 더욱이 FT는 치명적인 망각(catastrophic forgetting)이라는 문제점을 안고 있습니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 저랭크 적응(LoRA)입니다. LoRA는 일부 매개변수만 미세 조정하여 FT와 유사한 성능을 달성하면서도 자원 소모를 크게 줄이는 기법이죠. 하지만 LoRA는 FT의 설계를 상속받았기 때문에 치명적인 망각 문제는 여전히 남아있었습니다.

이러한 한계를 극복하고자 등장한 것이 바로 Zhang Yuxuan과 Li Ruizhe가 개발한 SECURA (Sigmoid-Enhanced CUR Decomposition with Uninterrupted Retention and Low-Rank Adaptation in Large Language Models) 입니다. SECURA는 새로운 정규화 기법인 SigNorm을 도입하여 매개변수 유지를 강화하고 전반적인 성능을 향상시키는 획기적인 파라미터 효율적인 미세 조정(PEFT) 변형 기법입니다.

SECURA는 수학 문제 해결(GSM8K), 어려운 질문 응답(CNNDM), 번역(NewsDE), 복잡한 객관식 추론(LogiQA) 등 다양한 과제에서 그 성능을 검증했습니다. Gemma2 2b, Qwen2 1.5b, Qwen 2 7b, Llama3 8b, Llama3.1 8b 등 다양한 모델에서 실험 결과, SECURA는 DoRA에 비해 객관식 질문(MCQ) 과제에서 평균 3.59%, 질문 응답(QA) 과제에서 평균 2.51%의 성능 향상을 달성했습니다. 뿐만 아니라, SECURA는 16개의 지속적인 학습 테스트에서 기본 LLM 지식에 대한 정확도를 70% 이상 유지하며 ER, SEQ, EWC, I-LoRA, CUR-LoRA 등 기존 기법들을 능가하는 뛰어난 지식 유지 능력을 보여주었습니다.

SECURA의 등장은 LLM 분야에 새로운 가능성을 열었습니다. 더욱 효율적이고 안정적인 LLM 미세 조정을 가능하게 하여, 앞으로 더욱 발전된 AI 시스템 구축에 크게 기여할 것으로 기대됩니다. 이는 단순한 기술적 발전을 넘어, AI의 실용성과 신뢰성을 한 단계 끌어올리는 중요한 이정표가 될 것입니다.