훈련 없이 이종 모델 병합하기: AI 모델 재활용의 새로운 지평


중국 저장대학교 연구팀이 깊이와 너비가 다른 이종 모델을 훈련 없이 병합하는 새로운 프레임워크를 제시했습니다. 계층 정렬 전략과 탄력적 뉴런 지핑 알고리즘을 통해 비전 및 NLP 분야에서 기존 동종 모델 병합과 유사한 성능을 달성, AI 모델 재활용의 새로운 지평을 열었습니다.

related iamge

AI 모델 재활용은 효율적인 AI 개발의 핵심입니다. 기존 모델을 재사용하여 새로운 작업에 적용하면 시간과 자원을 절약할 수 있죠. 하지만 서로 다른 구조의 모델들을 통합하는 것은 쉽지 않습니다. 중국 저장대학교 연구팀(Zhengqi Xu, Han Zheng, Jie Song, Li Sun, Mingli Song)은 이러한 어려움을 극복할 획기적인 방법을 제시했습니다. 바로 '훈련 없이 이종 모델을 병합하는' 기술입니다! 🎉

기존 방식의 한계 극복

지금까지는 주로 가중치 평균(Weight Average, WA)과 같은 방법으로 모델 병합이 이루어졌습니다. 하지만 이 방법은 모델의 구조가 동일하다는 전제하에 작동합니다. 모델의 깊이(depth)나 너비(width)가 다르다면? 성능 저하가 불가피했습니다. 마치 레고 블록을 규격이 다른 것끼리 억지로 끼워 맞추는 것과 같았죠.

혁신적인 해결책: 계층 정렬과 탄력적 뉴런 지핑

저장대학교 연구팀은 이 문제를 해결하기 위해 두 가지 혁신적인 방법을 제시했습니다.

  • 계층 정렬 전략 (Layer Alignment Strategy): 깊이가 다른 모델들을 병합하기 위해, 깊은 모델의 레이어들을 여러 개의 세그먼트로 나눕니다. 비슷한 기능을 하는 레이어들을 하나의 세그먼트로 묶어, 마치 깊이를 맞춰주는 것과 같은 효과를 내죠. 이는 마치 서로 다른 높이의 건물을 같은 높이의 층으로 나누어 통합하는 것과 유사합니다.
  • 탄력적 뉴런 지핑 알고리즘 (Elastic Neuron Zipping Algorithm): 너비가 다른 모델들의 가중치를 공통된 차원으로 투영합니다. 마치 서로 다른 크기의 옷을 같은 크기의 틀에 맞춰 입히는 것과 같습니다. 이를 통해 모델의 너비 차이를 효과적으로 해결합니다.

놀라운 결과: 비전과 NLP 분야 모두에서 성공

연구팀은 비전(Vision)과 자연어 처리(NLP) 두 분야에서 광범위한 실험을 수행했습니다. 결과는 놀라웠습니다! 이종 모델 병합은 동종 모델 병합과 거의 동등한 성능을 보였습니다. 이제 서로 다른 구조의 모델들을 자유롭게 통합하여 더욱 강력하고 다재다능한 AI 시스템을 구축할 수 있게 된 것입니다. 👏

코드는 여기서 확인하세요: https://github.com/zju-vipa/training_free_heterogeneous_model_merging

이 연구는 AI 모델 재활용의 새로운 장을 열었습니다. 앞으로 더욱 다양하고 효율적인 AI 시스템 개발에 크게 기여할 것으로 기대됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Training-free Heterogeneous Model Merging

Published:  (Updated: )

Author: Zhengqi Xu, Han Zheng, Jie Song, Li Sun, Mingli Song

http://arxiv.org/abs/2501.00061v1