LoRI: 다중 작업 저랭크 적응에서의 과업 간섭 감소

장주정 등 연구진이 개발한 LoRI는 기존 LoRA의 한계를 극복하는 혁신적인 방법으로, 매개변수 간섭 문제를 최소화하여 다중 작업 환경에서 효율성을 크게 높였습니다. 다양한 작업에서 우수한 성능을 보이며 최대 95%까지 매개변수를 줄였고, GitHub에서 코드를 공개하여 활용성을 높였습니다.

LoRI: 다중 작업 환경의 혁신적인 돌파구

최근 대규모 언어 모델(LLM)의 매개변수 효율적인 미세 조정(PEFT) 방법으로 저랭크 적응(LoRA)이 주목받고 있습니다. 하지만 LoRA는 다중 작업 시나리오에서 여전히 상당한 오버헤드와 매개변수 간섭 문제를 안고 있습니다. 장주정(Juzheng Zhang) 등 연구진은 이러한 문제를 해결하기 위해 간단하면서도 효과적인 새로운 방법인 LoRI (LoRA with Reduced Interference) 를 제시했습니다.

LoRI의 핵심은 무엇일까요? 바로 임의 투영 행렬(A)을 고정하고 작업별 마스크를 사용하여 행렬(B)을 희소화하는 것입니다. 이러한 설계는 학습 가능한 매개변수의 수를 크게 줄이면서 동시에 강력한 작업 성능을 유지합니다. 단순히 매개변수를 줄이는 것뿐만 아니라, 어댑터 부분 공간 간의 직교성을 활용하여 어댑터 병합 시 과업 간 간섭을 최소화하고, 희소성을 통해 파국적 망각을 완화하여 연속 학습까지 지원하는 획기적인 발전입니다.

연구진은 자연어 이해, 수학적 추론, 코드 생성, 안전 정렬 등 다양한 작업에 걸쳐 광범위한 실험을 진행했습니다. 그 결과 LoRI는 완전 미세 조정 및 기존 PEFT 방법들을 능가하는 성능을 보였으며, LoRA보다 최대 95%까지 학습 가능한 매개변수를 줄이는 놀라운 효율성을 입증했습니다. 특히 다중 작업 실험에서는 과업 간 간섭을 줄이면서 효과적인 어댑터 병합 및 연속 학습을 가능하게 했습니다.

LoRI의 주요 성과를 다시 한번 정리해보면 다음과 같습니다.

• 매개변수 효율성 극대화: LoRA보다 최대 95% 적은 매개변수 사용
• 과업 간 간섭 최소화: 어댑터 부분 공간 간의 직교성 활용
• 연속 학습 지원: 희소성을 통한 파국적 망각 완화
• 다양한 작업에서 우수한 성능: 자연어 이해, 수학적 추론, 코드 생성, 안전 정렬 등

이 연구는 GitHub (https://github.com/juzhengz/LoRI) 에서 코드를 공개하여, 더 많은 연구자들이 LoRI를 활용하고 발전시킬 수 있도록 지원하고 있습니다. LoRI는 LLM의 효율적인 미세 조정 및 다중 작업 학습 분야에 새로운 지평을 열었다고 평가할 수 있습니다. 앞으로 LoRI를 기반으로 한 더욱 혁신적인 연구들이 기대됩니다.