초저전력 AI 학습의 혁신: LEGEND 알고리즘으로 연산 속도 2배 향상!
중국과학원 연구진이 개발한 LEGEND 알고리즘은 LoRA 기반의 연합 미세조정(FedFT) 방식을 개선하여 초저전력 환경에서의 AI 학습 효율을 획기적으로 높였습니다. 80대의 상용 기기를 활용한 실험 결과, 기존 솔루션 대비 최대 2.8배의 속도 향상과 42.3%의 통신 비용 절감 효과를 확인했습니다.

초저전력 환경에서의 AI 학습 혁명: LEGEND 알고리즘
최근 AI 분야에서 가장 주목받는 연구 중 하나인 연합 학습(Federated Learning) . 하지만, 실제 적용에는 자원 제약과 시스템 이질성이라는 큰 벽이 존재했습니다. 이 문제를 해결하기 위해, 중국과학원 소속 연구진(Jun Liu, Yunming Liao, Hongli Xu, Yang Xu, Jianchun Liu, Chen Qian)이 개발한 LEGEND 알고리즘이 새로운 돌파구를 제시합니다.
LEGEND는 기존의 LoRA(Low-rank Adaptation) 기반의 연합 미세조정(FedFT) 방식을 혁신적으로 개선한 알고리즘입니다. LoRA는 대규모 언어 모델의 매개변수를 효율적으로 조정하는 기술이지만, 최적의 계층 구조(LoRA depth)와 순위 분포(rank distribution)를 결정하는 것이 어려웠습니다. LEGEND는 이러한 어려움을 극복하기 위해, LoRA 계층의 깊이와 각 계층의 순위를 동적으로 조절하는 알고리즘을 고안했습니다. 즉, 출력층에 가까운 LoRA 계층에 더 높은 순위를 할당하여 자원 소비를 줄이면서도 동등한 성능을 유지하는 전략을 사용합니다.
연구진은 80대의 상용 기기를 활용한 실제 환경에서의 실험을 통해 LEGEND의 효과를 검증했습니다. 그 결과, 기존 최첨단 솔루션 대비 최대 2.8배의 속도 향상과 42.3%의 통신 비용 절감 효과를 달성했습니다. 이는 초저전력 환경에서의 AI 학습을 위한 획기적인 성과입니다.
시간이 갈수록 더욱 중요해지는 에너지 효율성을 고려할 때, LEGEND 알고리즘은 AI 기술의 실용화와 보급에 크게 기여할 것으로 예상됩니다. 특히, 모바일 기기나 IoT 장치와 같이 제한된 자원을 가진 환경에서의 AI 활용에 혁신적인 변화를 가져올 것으로 기대됩니다. 하지만, 실제 다양한 환경에서의 추가적인 검증과 더욱 발전된 연구가 지속적으로 필요할 것입니다.
Reference
[arxiv] Adaptive Parameter-Efficient Federated Fine-Tuning on Heterogeneous Devices
Published: (Updated: )
Author: Jun Liu, Yunming Liao, Hongli Xu, Yang Xu, Jianchun Liu, Chen Qian
http://arxiv.org/abs/2412.20004v1