GraNNite: 자원 제약형 NPU에서 GNN의 고성능 실행을 위한 혁신적인 프레임워크

GraNNite는 자원 제약형 NPU에서 GNN의 고성능 실행을 위한 혁신적인 프레임워크로, 3단계 방법론을 통해 NPU 실행 가능성, 성능 최적화, 정확도-효율성 균형을 달성합니다. Intel Core Ultra AI PC 실험 결과, 기존 방식 대비 속도 및 에너지 효율이 크게 향상되었습니다.

최근 그래프 신경망(GNN)은 네트워크 분석, 추천 시스템, 음성 분석 등 다양한 분야에서 그 중요성이 날로 증대되고 있습니다. 특히, 클라이언트 PC 및 노트북과 같은 에지 디바이스에서 GNN을 구축하면 실시간 처리 성능 향상, 개인 정보 보호 강화, 클라우드 의존도 감소 등의 이점을 얻을 수 있습니다. GNN은 대규모 언어 모델(LLM)의 검색 증강 생성(RAG)과 이벤트 기반 비전 작업에도 활용됩니다.

하지만 불규칙적인 메모리 접근, 희소성, 동적 구조 등의 특징 때문에 자원 제약적인 디바이스에서는 높은 지연 시간과 에너지 오버헤드가 발생하는 문제점이 존재합니다. 현대의 에지 프로세서는 CPU, GPU, NPU를 통합하고 있지만, 데이터 병렬 처리를 위해 설계된 NPU는 불규칙적인 GNN 계산에는 어려움을 겪습니다.

이러한 문제를 해결하기 위해, Arghadip Das 등 연구진이 개발한 GraNNite는 상용 DNN 가속기에서 GNN 실행을 최적화하는 최초의 하드웨어 인식 프레임워크입니다. GraNNite는 구조화된 3단계 방법론을 통해 NPU 실행 가능성 확보, 성능 최적화, 효율성 향상을 위한 정확도 절충 등을 수행합니다.

1단계: NPU 실행 가능성 확보: GraphSplit을 이용한 작업 분산, StaGr을 이용한 정적 집계, 그리고 GrAd와 NodePad를 이용한 동적 그래프 처리 등의 기술이 적용됩니다.

2단계: 성능 최적화: 제어 집약적인 작업을 위한 EffOp, 희소성 활용을 위한 GraSp, 그리고 중복성 및 메모리 전송 감소를 위한 PreG, SymG, CacheG 등의 최적화 기법이 사용됩니다.

3단계: 정확도와 효율성의 균형: QuantGr을 이용한 INT8 양자화와 GrAx1, GrAx2, GrAx3을 통한 어텐션, 브로드캐스트-덧셈, SAGE-max 집계 가속화 등을 통해 정확성과 효율성의 균형을 맞춥니다.

Intel Core Ultra AI PC를 이용한 실험 결과, GraNNite는 기본 NPU 매핑 대비 2.6배에서 7.6배의 속도 향상을 달성했으며, CPU 및 GPU 대비 최대 8.6배의 에너지 절약 효과를 보였습니다. 또한, CPU와 GPU 대비 각각 10.8배 및 6.7배의 성능 향상을 기록했습니다.

GraNNite는 에지 디바이스에서 GNN의 실시간 처리를 가능하게 하는 혁신적인 프레임워크로서, 향후 다양한 분야에서 활용될 것으로 기대됩니다. 특히, 자원 제약적인 환경에서의 AI 애플리케이션 개발에 큰 기여를 할 것으로 예상됩니다.