GraNNite: 자원 제약형 NPU에서 GNN의 고성능 실행의 혁신

GraNNite는 자원 제약형 NPU에서 GNN의 고성능 실행을 가능하게 하는 혁신적인 프레임워크입니다. 3단계 최적화 방법론을 통해 속도와 에너지 효율을 크게 향상시켜 CPU 및 GPU를 능가하는 성능을 제공합니다.

최근 그래프 신경망(GNN)은 그래프 구조 데이터로부터 학습하는 데 필수적인 기술로 자리 잡았습니다. 네트워크 분석, 추천 시스템, 음성 분석 등 다양한 분야에서 활용되고 있으며, 특히 클라이언트 PC나 노트북과 같은 에지 디바이스에 배포하면 실시간 처리, 개인 정보 보호, 클라우드 독립성을 향상시킬 수 있습니다. GNN은 대규모 언어 모델(LLM)의 검색 증강 생성(RAG)과 이벤트 기반 비전 작업에도 기여합니다.

하지만 불규칙적인 메모리 접근, 희소성, 동적 구조로 인해 자원 제약형 디바이스에서는 높은 지연 시간과 에너지 오버헤드가 발생하는 문제가 있습니다. 현대 에지 프로세서는 CPU, GPU, NPU를 통합하지만, 데이터 병렬 작업을 위해 설계된 NPU는 불규칙적인 GNN 연산에 어려움을 겪습니다.

이러한 문제를 해결하기 위해 Arghadip Das 등 6명의 연구원이 개발한 GraNNite가 등장했습니다. GraNNite는 상용 최첨단 DNN 가속기에서 GNN 실행을 최적화하는 최초의 하드웨어 인식 프레임워크입니다. GraNNite는 구조화된 3단계 방법론을 통해 이를 달성합니다.

1단계: NPU 실행 가능하게 하기 GraphSplit을 사용하여 작업 부하를 분산하고, StaGr을 사용하여 정적 집계를 수행하며, GrAd 및 NodePad는 동적 그래프를 처리합니다.

2단계: 성능 최적화 EffOp를 사용하여 제어 집중적인 작업의 성능을 향상시키고, GraSp를 사용하여 희소성을 활용합니다. PreG, SymG, CacheG와 같은 그래프 컨볼루션 최적화 기법을 통해 중복성과 메모리 전송을 줄입니다.

3단계: 정확도와 효율성 간의 균형 QuantGr을 사용하여 INT8 양자화를 적용하고, GrAx1, GrAx2, GrAx3를 통해 어텐션, 브로드캐스트-덧셈, SAGE-max 집계를 가속화합니다. 이를 통해 정확성을 유지하면서 효율성을 극대화합니다.

Intel Core Ultra AI PC에서 GraNNite는 기본 NPU 매핑보다 2.6배에서 7.6배까지 속도 향상을 달성했으며, CPU 및 GPU보다 최대 8.6배의 에너지 절약 효과를 보였습니다. 또한, 다양한 GNN 모델에서 CPU 및 GPU보다 각각 10.8배 및 6.7배 높은 성능을 기록했습니다. GraNNite는 에지 디바이스에서 GNN의 실시간 처리 및 에너지 효율성을 획기적으로 개선하는 혁신적인 기술로 평가받고 있습니다.