S²FT: 효율적이고 확장 가능하며 일반화 가능한 LLM 미세조정의 혁신
S²FT는 효율성, 확장성, 일반화 성능을 모두 갖춘 혁신적인 LLM 미세조정 방법으로, 기존 방식의 한계를 극복하고 SOTA 성능을 달성했습니다. 희소 미세조정과 독창적인 구조를 통해 과적합과 망각 현상을 방지하며, 메모리 절감 및 추론 속도 향상에도 기여합니다.

S²FT: LLM 미세조정의 새로운 지평을 열다
최근 대규모 언어 모델(LLM)의 미세조정(Fine-tuning)은 인공지능 발전의 핵심 과제로 떠올랐습니다. 기존의 파라미터 효율적 미세조정(PEFT) 방법들은 성능, 효율성, 확장성 중 어느 하나에 치중하는 경향이 있었습니다. 하지만 중국과 일본 연구진으로 구성된 연구팀이 발표한 S²FT(Structured Sparse Fine-Tuning) 는 이러한 한계를 뛰어넘는 획기적인 방법입니다.
Yang Xinyu를 비롯한 8명의 연구자들은 S²FT를 통해 성능, 효율성, 확장성을 동시에 달성하는 놀라운 결과를 보여주었습니다. S²FT의 핵심은 **"희소하게 선택하고, 조밀하게 계산한다"**는 원리에 있습니다. Transformer 블록의 MHA(Multi-Head Attention)와 FFN(Feed-Forward Network) 모듈에서 소수의 헤드와 채널을 선택적으로 활용하고, 선택된 구성 요소들을 조밀한 부분 행렬로 연결하는 독창적인 구조를 가지고 있습니다.
이러한 구조는 과적합과 망각 현상을 효과적으로 방지하여 상식 추론과 산술 추론에서 LoRA(Low-Rank Adaptation) 대비 각각 4.6%와 1.3%의 성능 향상을 이끌어냈습니다. 뿐만 아니라, 다양한 도메인으로 일반화하는 경우 전체 미세조정(Full FT)보다 11.5% 높은 성능을 기록했습니다. 더 나아가, S²FT는 훈련 메모리를 최대 3배까지 절감하고, 추론 속도를 1.5~2.7배 향상시켰으며, LoRA 대비 평균 10%의 성능 향상을 보였습니다.
S²FT의 또 다른 강점은 가중치 업데이트를 어댑터로 분리할 수 있다는 점입니다. 이를 통해 효과적인 융합, 빠른 전환, 그리고 여러 미세조정 모델을 위한 효율적인 병렬 처리가 가능해집니다. S²FT는 단순한 성능 향상을 넘어, LLM 미세조정의 실용성과 확장성에 새로운 가능성을 제시하는 혁신적인 연구로 평가받고 있습니다. 앞으로 S²FT가 LLM 응용 분야에 어떤 영향을 미칠지 귀추가 주목됩니다.
Reference
[arxiv] S$^{2}$FT: Efficient, Scalable and Generalizable LLM Fine-tuning by Structured Sparsity
Published: (Updated: )
Author: Xinyu Yang, Jixuan Leng, Geyang Guo, Jiawei Zhao, Ryumei Nakada, Linjun Zhang, Huaxiu Yao, Beidi Chen
http://arxiv.org/abs/2412.06289v1