엣지 기반 생성형 AI의 혁신: 고정밀 가속기 SoftEx가 가져올 미래
본 연구는 에지 기반 생성형 AI 성능 향상을 위한 새로운 가속기 SoftEx를 제시합니다. SoftEx는 소프트맥스와 GELU 연산을 획기적으로 가속화하고 에너지 효율을 높여, ViT 추론 작업에서 처리량과 에너지 효율을 각각 1.58배, 1.42배 향상시켰습니다.

엣지 기반 생성형 AI의 혁신: 고정밀 가속기 SoftEx가 가져올 미래
Andrea Belano 등 6명의 연구진이 발표한 논문 "A Flexible Template for Edge Generative AI with High-Accuracy Accelerated Softmax & GELU"는 Transformer 기반 생성형 AI(GenAI) 모델의 성능 향상에 대한 획기적인 해결책을 제시합니다. Transformer는 자연어 처리, 컴퓨터 비전, 오디오 처리 등 다양한 분야에서 뛰어난 성능을 보이지만, 소프트맥스와 GELU와 같은 복잡한 비선형 연산으로 인해 성능 병목 현상이 발생할 수 있습니다.
이러한 문제를 해결하기 위해 연구진은 256KiB의 공유 SRAM, 8개의 범용 RISC-V 코어, 24x8 시스토릭 어레이 MatMul 가속기, 그리고 새로운 SoftEx 가속기를 포함한 이기종 밀접 결합 클러스터 기반의 GenAI BFloat16 Transformer 가속 템플릿을 제안했습니다.
SoftEx는 근사 지수 알고리즘을 사용하여 기존 glibc 구현 대비 최대 121배의 속도 향상과 **0.14%**의 평균 상대 오차를 달성, 효율성과 정확성을 동시에 확보했습니다. 12nm 기술로 제작된 SoftEx는 클러스터의 3.22%에 불과한 0.039 mm$^2$의 작은 면적을 차지하며, 1.12 GHz의 높은 동작 주파수를 자랑합니다.
RISC-V 코어에서 실행되는 최적화된 소프트웨어와 비교했을 때, SoftEx는 소프트맥스 연산을 최대 10.8배, GELU 연산을 최대 5.11배 가속화하는 동시에 에너지 소비량도 각각 최대 10.8배, 5.29배 감소시켰습니다. 이러한 성능 향상은 ViT 추론 작업에서 처리량을 1.58배(0.8V에서 310 GOPS), 에너지 효율을 1.42배(0.55V에서 1.34 TOPS/W) 향상시키는 놀라운 결과로 이어졌습니다.
본 연구는 에지 기반 GenAI 애플리케이션의 성능과 에너지 효율을 획기적으로 개선하는 SoftEx의 잠재력을 보여줍니다. 소형화, 고속 처리, 저전력 소비라는 세 마리 토끼를 모두 잡은 SoftEx는 차세대 AI 시스템 설계에 중요한 전환점을 마련할 것으로 기대됩니다. 앞으로 더욱 발전된 SoftEx 기반의 엣지 AI 기술이 다양한 분야에서 활용될 가능성을 시사하는 흥미로운 연구 결과입니다.
Reference
[arxiv] A Flexible Template for Edge Generative AI with High-Accuracy Accelerated Softmax & GELU
Published: (Updated: )
Author: Andrea Belano, Yvan Tortorella, Angelo Garofalo, Luca Benini, Davide Rossi, Francesco Conti
http://arxiv.org/abs/2412.06321v1