LightSNN: 경량화된 스파이크 신경망 아키텍처 탐색의 혁신

LightSNN은 SNN의 에너지 효율과 정확도를 동시에 향상시키는 혁신적인 NAS 기법입니다. 기존 방법보다 훨씬 빠른 속도로 최적의 아키텍처를 찾아내며, CIFAR10, CIFAR100, DVS128-Gesture 데이터셋에서 최첨단 성능을 기록했습니다.

LightSNN: 에너지 효율과 정확성을 겸비한 혁신적인 스파이크 신경망

스파이크 신경망(SNN)은 에너지 효율이 높고, 활성화가 드물게 발생하며(sparse), 에지 기기에서 실시간 처리에 적합하다는 장점으로 주목받고 있습니다. 하지만 기존 SNN 방법들은 대부분 기존 인공 신경망(ANN)과 유사한 아키텍처를 채택하여 SNN에 적용했을 때 최적의 성능을 발휘하지 못하는 경우가 많았습니다. SNN은 에너지 효율이 뛰어나지만, 기존 아키텍처를 사용할 경우 ANN보다 정확도가 낮다는 단점이 있었습니다.

이러한 문제를 해결하기 위해, Yesmine Abdennadher 등 연구진은 LightSNN을 개발했습니다. LightSNN은 SNN에 특화된 빠르고 효율적인 신경망 아키텍처 탐색(NAS) 기법으로, 정확성과 효율성 간의 균형을 최적으로 맞추면서 스파스성(sparsity)을 강화합니다. SNASNet 프레임워크를 기반으로, 역방향 연결(backward connections)을 포함하는 셀 기반 검색 공간을 활용하여 훈련이 필요 없는 가지치기 기반 NAS 메커니즘을 구축했습니다. 스파스성을 고려한 해밍 거리 적합도 평가를 사용하여 다양한 데이터 샘플에 걸쳐 다양한 스파이크 활성 패턴을 평가합니다.

연구진은 정적(CIFAR10 및 CIFAR100) 및 뉴로모픽(DVS128-Gesture) 데이터셋에서 광범위한 실험을 수행했습니다. 그 결과, LightSNN 모델은 CIFAR10 및 CIFAR100 데이터셋에서 최첨단 성능을 달성했으며, DVS128Gesture 데이터셋에서는 4.49%의 성능 향상을 보였습니다. 특히, 검색 시간을 획기적으로 단축하여 SNASNet보다 98배 빠른 속도를 달성했으며, DVS128Gesture 데이터셋에서는 기존 최고 성능 방법보다 30% 빠른 속도를 기록했습니다.

LightSNN은 에너지 효율과 정확성을 동시에 높이려는 노력의 결실로, 모바일 및 임베디드 시스템과 같은 에너지 제약이 심한 환경에서 SNN의 활용 가능성을 크게 높일 것으로 기대됩니다. 향후 연구에서는 LightSNN의 아키텍처를 더욱 개선하고, 다양한 응용 분야에 적용하는 연구가 활발하게 진행될 것으로 예상됩니다.