Tempus Core: 에지 AI 추론을 위한 획기적인 저전력 컨볼루션 코어


Tempus Core는 에지 디바이스의 제한된 자원을 극복하기 위해 개발된 혁신적인 컨볼루션 코어로, 기존 NVDLA 대비 면적 및 전력 소모를 크게 줄이고 처리량을 향상시켰습니다. 이는 에지 AI 추론의 효율성을 높이고, 다양한 분야에서 딥러닝 기술의 활용 가능성을 넓힐 것으로 기대됩니다.

related iamge

점점 복잡해지는 딥러닝, 에지 디바이스의 한계에 도전하다!

최근 딥러닝 모델의 복잡성이 증가하면서 에지 디바이스에서의 추론은 자원과 전력 제약이라는 큰 과제에 직면했습니다. 이러한 문제를 해결하기 위해, 데이터의 희소성과 저정밀도 값을 활용하는 유니어리 기반 행렬 곱셈 하드웨어가 주목받고 있습니다. 하지만, 기존의 딥러닝 가속기(DLA)와의 데이터 흐름 차이로 인해 상용화에 어려움을 겪어왔습니다.

Tempus Core: NVDLA와의 완벽한 조화, 에너지 효율 극대화

이러한 한계를 극복하기 위해, Prabhu Vellaisamy 박사를 비롯한 연구팀이 개발한 Tempus Core는 획기적인 컨볼루션 코어입니다. Tempus Core는 시간-유니어리-바이너리(tub) 곱셈기를 사용하는 확장성 높은 유니어리 기반 PE 어레이를 특징으로 합니다. 특히, NVIDIA의 오픈소스 DLA인 NVDLA와의 데이터 흐름 호환성을 유지하면서 하드웨어 효율을 크게 향상시켰다는 점이 주목할 만합니다. 이는 단순한 성능 향상을 넘어, 기존 시스템과의 원활한 통합을 가능하게 함으로써 실제 상용화에 한 발짝 더 다가선 것을 의미합니다.

놀라운 성능 향상: 면적과 전력 소모의 혁신

45nm CMOS 공정에서 Tempus Core는 놀라운 결과를 보여주었습니다. 다양한 데이터 경로 해상도 분석 결과, INT8 정밀도에서 Tempus Core의 PE 셀 유닛(PCU)은 NVDLA의 CMAC 유닛에 비해 면적 59.3%, 전력 15.3% 감소를 달성했습니다. 더 나아가, 16x16 PE 어레이를 사용한 Tempus Core는 면적 75%, 전력 62% 감소와 함께 INT8 및 INT4 정밀도에서 각각 5배 및 4배의 처리량 향상을 기록했습니다. INT4 정밀도에서 16x4 PE 어레이의 경우, 면적은 0.017 mm², 전력 소모는 6.2mW에 불과했습니다.

에지 AI의 미래를 여는 혁신

Tempus Core는 에너지 효율적인 유니어리 기반 하드웨어가 기존 DLA에 원활하게 통합될 수 있음을 증명했습니다. 이는 에지 AI 추론의 효율성을 획기적으로 높이고, 배터리 수명이 제한적인 모바일 기기나 IoT 디바이스에서 딥러닝 기술의 활용 가능성을 넓힐 것으로 기대됩니다. 앞으로 더욱 발전된 유니어리 기반 하드웨어 기술의 발전과 상용화를 통해 에지 AI 시대가 더욱 가속화될 것으로 전망됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Tempus Core: Area-Power Efficient Temporal-Unary Convolution Core for Low-Precision Edge DLAs

Published:  (Updated: )

Author: Prabhu Vellaisamy, Harideep Nair, Thomas Kang, Yichen Ni, Haoyang Fan, Bin Qi, Jeff Chen, Shawn Blanton, John Paul Shen

http://arxiv.org/abs/2412.19002v1