클래스별 정보 활용, AI 모델 경량화의 혁신: 구조화된 라쏘 기반 자동 가지치기 기술

류샹 등 연구팀은 정보 부족 이론과 구조화된 라쏘를 활용한 새로운 AI 모델 경량화 기술을 개발했습니다. 클래스별 정보를 활용하여 기존 방식의 한계를 극복하고, sGLP-IB와 sTLP-IB라는 두 가지 기법을 통해 모델 크기와 계산량을 크게 줄이면서 높은 정확도를 유지하는 데 성공했습니다.

클래스별 정보 활용, AI 모델 경량화의 혁신: 구조화된 라쏘 기반 자동 가지치기 기술

최근 AI 모델의 복잡성 증가로 인해 경량화 기술에 대한 관심이 높아지고 있습니다. 기존의 대부분의 신경망 가지치기 방법들은 중요하지 않은 필터에만 초점을 맞춰왔습니다. 하지만 이러한 접근 방식은 클래스별 데이터 정보를 고려하지 않아 통계적 정보 손실이라는 치명적인 단점을 가지고 있었습니다.

류샹(Xiang Liu) 등 연구팀은 이러한 문제를 해결하기 위해 정보 부족 이론(Information Bottleneck theory)을 활용한 획기적인 연구 결과를 발표했습니다. 그들은 구조화된 라쏘(structured lasso) 를 이용하여 가지치기 과정에서도 통계적 정보를 효과적으로 보존하는 기술을 개발했습니다. 이를 통해 클래스별 정보를 정밀하게 활용하여 모델 성능 저하 없이 크기를 줄이는 데 성공했습니다.

연구팀은 sGLP-IB (sparse graph-structured lasso pruning with Information Bottleneck) 와 sTLP-IB (sparse tree-guided lasso pruning with Information Bottleneck) 라는 두 가지 혁신적인 적응형 네트워크 가지치기 기법을 제시했습니다. 이 기법들은 클래스 간의 연관성을 더욱 효과적으로 파악하여 모델 필터를 보다 정교하게 가지치는 데 사용됩니다.

다양한 모델 아키텍처와 데이터셋(CIFAR-10, ImageNet 등)을 사용한 광범위한 실험 결과, 연구팀의 접근 방식은 기존 최첨단 방법들에 비해 월등한 성능을 보였습니다. 예를 들어, VGG16 모델을 CIFAR-10 데이터셋에 적용했을 때, 파라미터를 85% 감소시키고 FLOPs를 61% 줄였음에도 불구하고 정확도는 94.10% (원래 모델보다 0.14% 상승)를 유지했습니다. ResNet 아키텍처를 ImageNet에 적용한 경우에도, 파라미터를 55% 줄이면서 정확도는 76.12% (단 0.03% 감소)를 기록했습니다.

이 연구는 모델 크기와 계산 자원 사용량을 크게 줄이면서 정확도를 유지하는 혁신적인 방법을 제시하여, AI 모델 경량화 분야에 중요한 전기를 마련했습니다. 연구팀은 코드를 공개하여 (https://anonymous.4open.science/r/IJCAI-8104) 다른 연구자들의 연구 활성화에 기여하고 있습니다. 이들의 연구는 AI 기술의 발전과 실제 응용에 있어 중요한 의미를 갖습니다. 특히, 모바일 및 임베디드 시스템과 같은 제한된 자원 환경에서의 AI 모델 활용 가능성을 크게 높일 것으로 기대됩니다.