각 계급은 전문가일 수 있다: 다중 작업 학습을 위한 단일 계급 전문가 혼합 LoRA (SMoRA)

자오 지위 등 연구진이 개발한 SMoRA는 단일 LoRA와 다중 LoRA MoE를 통합하여 다중 작업 학습의 효율성을 높인 혁신적인 방법입니다. 각 계급을 독립적인 전문가로 활용하여 지식 공유를 증진하고 과업 충돌을 완화하며, 제한된 매개변수 내에서 우수한 성능을 달성합니다.

AI 학계의 혁신: 단일 계급 전문가 혼합 LoRA (SMoRA)

최근 자오 지위(Ziyu Zhao) 등 연구진이 발표한 논문 "각 계급은 전문가일 수 있다: 다중 작업 학습을 위한 단일 계급 전문가 혼합 LoRA"는 인공지능 분야, 특히 대규모 언어 모델(LLM)의 효율적인 적응 학습에 새로운 지평을 열었습니다.

기존의 저계급 적응(LoRA)은 효율성과 모듈성 덕분에 특정 영역에 LLM을 적응시키는 데 널리 사용되었지만, 다중 작업 시나리오에서는 과업 간의 충돌 문제가 발생했습니다. 이를 해결하기 위해 여러 전문가 LoRA 모듈을 사용하는 전문가 혼합(MoE) 방식이 등장했지만, 개별 과업 내 지식 고립 문제가 남아있었습니다.

연구진은 단일 LoRA와 다중 LoRA MoE를 통합하는 획기적인 방법을 제시했습니다. 핵심은 다중 LoRA의 동적 라우팅이 단일 LoRA 내 계급 분할 및 블록 수준 활성화와 기능적으로 동등하다는 발견입니다. 즉, 하나의 LoRA 내에서 다양한 전문성을 구현한 것입니다. 더 나아가, 동일한 총 활성화 매개변수 제약 하에서 더 세분화된 LoRA 분할이 이종 과업에서 성능 향상으로 이어짐을 실험적으로 증명했습니다.

이러한 발견을 바탕으로 연구진은 단일 계급 전문가 혼합 LoRA (SMoRA) 를 제안합니다. SMoRA는 각 계급을 독립적인 전문가로 취급하는 동적 계급별 활성화 메커니즘을 통해 과업 간의 지식 공유를 증진하고 충돌을 완화합니다. 실험 결과, SMoRA는 더 적은 매개변수만 활성화시키면서도 다중 작업 시나리오에서 더 나은 성능을 달성했습니다. 이는 LLM의 효율성을 극대화하는 혁신적인 전략이라 할 수 있습니다.

SMoRA의 등장은 LLM의 적응 학습에 새로운 가능성을 제시합니다. 더 적은 자원으로 더 나은 성능을 달성할 수 있다는 점은 AI 기술 발전에 중요한 의미를 갖습니다. 이는 향후 다양한 분야에서 LLM의 응용을 확대하고, 더욱 효율적인 AI 시스템 구축에 기여할 것으로 기대됩니다. 하지만, SMoRA의 성능 향상이 모든 유형의 다중 작업에 대해 항상 보장되는 것은 아니며, 추가적인 연구를 통해 그 한계와 적용 가능성을 폭넓게 검증해야 할 것입니다.