Control LLM: 지능 유지를 위한 LLM의 진화


LinkedIn 연구팀이 개발한 Control LLM은 병렬 전이 학습 및 보간 전략을 통해 LLM의 파국적 망각 문제를 해결하고, 수학적 추론, 코딩, 다국어 능력을 향상시켰습니다. 적은 자원으로 높은 성능을 달성했으며, 오픈소스로 공개되어 AI 연구 발전에 기여할 것으로 예상됩니다.

related iamge

대규모 언어 모델(LLM)은 엄청난 컴퓨팅 자원을 필요로 하며, 재학습 없이 성능을 향상시키는 것은 큰 과제입니다. 특히, 연속적 사전 학습(CPT) 및 연속적 감독 미세 조정(CSFT) 과정에서 발생하는 파국적 망각(CF) 은 LLM 발전의 걸림돌이었습니다.

하지만, LinkedIn 연구팀(Haichao Wei, Yunxiang Ren, Zhoutong Fu, Aman Lunia, Yi-Lin Chen, Alice Leung, Ya Xu)이 개발한 Control LLM은 이러한 문제를 해결할 혁신적인 해결책을 제시합니다. Control LLM은 병렬로 사전 훈련된 확장된 트랜스포머 블록을 활용하고, 보간 전략을 통해 이들의 은닉 상태를 정렬하여 기존 작업의 성능을 유지하면서 새로운 지식을 매끄럽게 통합합니다.

놀라운 성과: Llama3.1-8B-Instruct 모델을 기반으로 한 실험 결과는 그 효과를 명확히 보여줍니다. 수학적 추론 능력은 Math-Hard 기준 14.4% 향상, 코딩 성능은 MBPP-PLUS 기준 10% 향상을 기록했습니다. Llama3.1-8B 모델에서는 다국어 능력이 C-Eval 10.6%, CMMLU 6.8%, CMMLU-0shot-CoT 30.2%나 향상되었습니다. 이는 기존 방법들을 뛰어넘는 성과이며, 동일한 기본 모델에서 미세 조정된 오픈소스 모델 중 최고 성능(SOTA)을 달성한 것입니다. 특히, 적은 데이터와 컴퓨팅 자원으로 이러한 성과를 달성했으며, MMLU 기준 4.3% 미만의 성능 저하만 보였습니다. (이는 기존 오픈소스 수학 및 코딩 모델의 35% 이상 저하와 비교되는 괄목할 만한 성과입니다.) Control LLM은 이미 LinkedIn의 GenAI 기반 구직자 및 광고 부서 제품에 성공적으로 배포되었습니다.

더 나아가: 연구팀은 훈련 및 평가 코드 (https://github.com/linkedin/ControlLLM)와 공개 데이터셋으로 훈련된 모델 (https://huggingface.co/ControlLLM)을 공개하여 더 많은 연구와 발전을 지원하고 있습니다. Control LLM은 LLM의 지능 유지 및 발전에 새로운 가능성을 제시하며, AI 분야의 혁신을 이끌어갈 중요한 기술로 자리매김할 것으로 기대됩니다. 💫


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Control LLM: Controlled Evolution for Intelligence Retention in LLM

Published:  (Updated: )

Author: Haichao Wei, Yunxiang Ren, Zhoutong Fu, Aman Lunia, Yi-Lin Chen, Alice Leung, Ya Xu

http://arxiv.org/abs/2501.10979v1