FlexiSAGA: 희소 및 밀집 행렬 처리를 위한 유연한 시스토릭 어레이 기반 AI 가속기

FlexiSAGA는 희소 및 밀집 행렬 곱셈(GEMM)을 위한 유연한 시스토릭 어레이 기반 AI 가속기로, 7가지 데이터 흐름을 지원하고 맞춤형 DNN 프루닝 기법을 통해 최대 4.28배의 속도 향상을 달성했습니다. 이는 에지 디바이스에서의 AI 성능 향상에 크게 기여할 것으로 기대됩니다.

딥러닝 시대의 도전과 FlexiSAGA의 등장

컴퓨터 비전부터 자연어 처리까지, 인공지능(AI) 알고리즘, 특히 심층 신경망(DNN)은 다양한 분야에서 핵심적인 역할을 하고 있습니다. 하지만 DNN 추론의 복잡한 연산은, 특히 자원 제약이 있는 에지 디바이스에서는 상당한 어려움을 야기합니다. 이러한 문제를 해결하기 위한 유망한 접근 방식 중 하나는 DNN 가중치의 희소성을 활용하는 것입니다.

FlexiSAGA: 혁신적인 AI 하드웨어 가속기

Mika Markus Müller 등 연구진이 개발한 FlexiSAGA는 이러한 문제에 대한 획기적인 해결책을 제시하는 AI 하드웨어 가속기입니다. FlexiSAGA는 아키텍처 구성이 가능하고 데이터 흐름이 유연한 시스토릭 어레이 기반으로 설계되어 희소 및 밀집 행렬 곱셈(GEMM)을 효율적으로 처리합니다. 무려 7가지의 서로 다른 희소 및 밀집 데이터 흐름을 지원하여 자원 집약적인 DNN 연산을 효과적으로 처리할 수 있습니다.

DNN/HW 공동 설계를 위한 맞춤형 프루닝 기법

연구진은 FlexiSAGA 아키텍처에 특화된 DNN 프루닝 방법을 제안하여 밀집 및 희소 합성곱 및 완전 연결 연산의 최적 처리를 가능하게 하였습니다. 이는 DNN과 하드웨어의 공동 설계(co-design) 흐름을 촉진시켜 시너지 효과를 극대화합니다. 이는 단순한 하드웨어 개선을 넘어, 소프트웨어(DNN)와의 최적화된 통합을 추구하는 새로운 접근 방식을 보여줍니다.

놀라운 성능 향상: 최대 4.28배 속도 향상

실험 결과, FlexiSAGA는 전체 DNN의 희소-밀집 추론 속도를 기존 상용 및 연구용 가속기 플랫폼에 비해 1.41배에서 최대 4.28배까지 향상시켰습니다. 이는 FlexiSAGA의 우수한 성능과 효율성을 입증하는 괄목할 만한 결과입니다. 이는 에지 디바이스 기반 AI 애플리케이션의 성능 향상에 큰 기여를 할 것으로 예상됩니다.

결론: 에지 AI의 새로운 지평

FlexiSAGA는 에지 디바이스에서의 AI 연산 효율성을 획기적으로 개선할 잠재력을 가진 혁신적인 기술입니다. 희소성 활용과 맞춤형 아키텍처 및 프루닝 기법의 조합은 향후 AI 하드웨어 설계에 새로운 패러다임을 제시할 것으로 기대됩니다.