DNAD: 차세대 AI 신경망 설계의 혁신, 성능과 효율성의 완벽 조화

라오 쉬안, 자오 보, 리우 더롱 연구팀이 개발한 DNAD 알고리즘은 SNPS와 KD를 결합하여 효율적이면서도 성능이 뛰어난 신경망 아키텍처를 설계합니다. ImageNet 분류에서 뛰어난 성능을 보이며 기존 DARTS 기반 방법들을 능가하는 결과를 제시했습니다.

최근 AI 분야에서 효율적인 신경망 설계는 매우 중요한 과제입니다. 모델 성능과 계산 복잡도 간의 절묘한 균형을 찾는 것이 관건인데요. 이러한 어려움을 해결하기 위해 라오 쉬안(Xuan Rao), 자오 보(Bo Zhao), 리우 더롱(Derong Liu) 연구팀이 차별 가능한 신경망 아키텍처 증류(DNAD) 알고리즘을 개발했습니다. DNAD는 '삭제를 통한 탐색'과 '모방을 통한 탐색'이라는 두 가지 핵심 전략을 기반으로 합니다.

첫 번째 전략, '삭제를 통한 탐색': 연구팀은 동일한 유형의 셀이 동일한 토폴로지를 공유하지 않는 공간에서 신경망 아키텍처를 도출하기 위해 초거대 네트워크 점진적 축소(SNPS) 알고리즘을 개발했습니다. 이는 차별 가능한 아키텍처 탐색(DARTS) 프레임워크를 기반으로 하지만, 기존 DARTS 기반 방법들과는 다릅니다. 기존 방법들은 단순한 구조의 신경망 아키텍처를 하나만 생성하는 반면, SNPS는 밀집 구조에서 점진적으로 희소 구조로 초거대 네트워크를 축소하여 유연한 구조를 가진 최적의 아키텍처들을 여러 개 도출합니다.

두 번째 전략, '모방을 통한 탐색': 과매개변수 모델의 도움을 받아 컴팩트한 네트워크를 학습하는 데 지식 증류(KD)의 효과가 뛰어난 것으로 알려져 있습니다. 연구팀은 SNPS와 KD를 통합하여 DNAD 알고리즘을 완성했습니다. 초거대 네트워크와 교사 네트워크 간의 행동적 차이를 최소화함으로써 단일 수준 DARTS의 과적합을 방지하고 성능이 우수한 신경망 아키텍처를 도출합니다.

CIFAR-10과 ImageNet 분류 작업에 대한 실험 결과, SNPS와 DNAD 모두 더 적은 매개변수와 FLOPs(부동 소수점 연산)으로 유사하거나 더 낮은 오류율을 달성하는 아키텍처들을 도출했습니다. 특히 DNAD는 ImageNet 분류 작업에서 600만 개의 매개변수와 5억 9800만 개의 FLOPs로 상위 1% 오류율 23.7%를 달성하여 대부분의 DARTS 기반 방법들을 능가하는 성과를 보였습니다.

DNAD는 단순히 효율적인 신경망을 설계하는 것을 넘어, 성능과 효율성이라는 두 마리 토끼를 모두 잡은 혁신적인 기술입니다. 앞으로 AI 분야의 발전에 크게 기여할 것으로 기대됩니다.