AutoSculpt: 강화학습과 그래프 학습으로 AI 모델 경량화의 새 지평을 열다
AutoSculpt는 강화학습과 그래프 학습을 활용하여 AI 모델의 효율적인 자동 가지치기를 수행하는 혁신적인 프레임워크입니다. 다양한 아키텍처에서 높은 압축률과 정확도를 달성하여 에지 디바이스에서의 AI 활용에 새로운 가능성을 열었습니다.

스마트폰, 자율주행 자동차와 같은 에지 디바이스에서 인공지능(AI) 모델을 활용하려면 모델의 크기와 연산량을 줄이는 것이 필수적입니다. 하지만 기존의 AI 모델 경량화 기술들은 다양한 모델 구조와 연산자에 대한 효율적인 대응에 어려움을 겪어왔습니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 AutoSculpt입니다.
AutoSculpt는 Lixian Jing, Jianpeng Qi, Junyu Dong, Yanwei Yu 연구팀이 개발한 자동 가지치기 프레임워크로, 강화학습(DRL) 과 그래프 학습을 결합하여 AI 모델의 효율성과 정확성을 동시에 향상시키는 획기적인 기술입니다. 기존 추론 엔진이 인식할 수 있는 규칙적인 패턴을 자동으로 식별하고 제거하여, 연산량을 크게 줄이는 동시에 정확도는 유지하거나 오히려 향상시키는 놀라운 성과를 보여줍니다.
AutoSculpt는 크게 세 단계로 구성됩니다.
- DNN을 그래프로 표현: 모델의 구조와 매개변수 간의 의존성을 효율적으로 나타내기 위해 그래프 구조를 활용합니다.
- 효율적인 가지치기 패턴 임베딩: 연산량을 최소화하는 가지치기 패턴을 모델에 적용합니다.
- DRL 기반 최적화: 강화학습을 통해 압축률과 정확도 간의 최적의 균형점을 찾아가는 반복적인 최적화 과정을 거칩니다.
실험 결과, AutoSculpt는 ResNet, MobileNet, VGG, Vision Transformer 등 다양한 아키텍처에서 최대 90%의 가지치기율을 달성하였으며, FLOPs(Floating Point Operations) 감소율은 기존 방법 대비 18%나 향상되었습니다. 이는 기존의 자동 가지치기 방법들을 압도하는 성능입니다. 자세한 내용과 코드는 https://anonymous.4open.science/r/AutoSculpt-DDA0에서 확인할 수 있습니다.
AutoSculpt는 단순한 모델 경량화 기술을 넘어, 에지 디바이스에서의 AI 활용에 새로운 가능성을 제시합니다. 향후 더욱 발전된 AutoSculpt를 통해 더욱 작고 빠르면서도 정확한 AI 모델들이 다양한 분야에서 활용될 수 있을 것으로 기대됩니다. 이는 AI 기술의 대중화와 실생활 적용을 가속화하는 중요한 발걸음이 될 것입니다.
Reference
[arxiv] AutoSculpt: A Pattern-based Model Auto-pruning Framework Using Reinforcement Learning and Graph Learning
Published: (Updated: )
Author: Lixian Jing, Jianpeng Qi, Junyu Dong, Yanwei Yu
http://arxiv.org/abs/2412.18091v1