희소 DNN 가속을 위한 RISC-V 확장의 하드웨어/소프트웨어 공동 설계: FPGA 기반 TinyML 응용

Muhammad Sabih 등 연구진은 RISC-V 아키텍처 확장을 통해 FPGA 상에서 희소 DNN을 효율적으로 가속화하는 새로운 하드웨어/소프트웨어 공동 설계 방법을 제시했습니다. 반구조적 및 비구조적 희소성을 고려한 맞춤형 설계로 최대 5배의 속도 향상을 달성, TinyML 응용에 큰 기여를 할 것으로 기대됩니다.

서론: 최근 딥러닝(DNN)의 발전과 함께, 에너지 효율적인 DNN 가속화에 대한 요구가 증대되고 있습니다. 이러한 요구를 충족하기 위해, Muhammad Sabih 등 연구진은 RISC-V 아키텍처의 확장성을 활용하여 희소 DNN을 FPGA 상에서 효율적으로 가속화하는 새로운 하드웨어/소프트웨어 공동 설계(co-design) 방법을 제안했습니다. 이 연구는 반도체 설계의 새로운 가능성을 보여주는 획기적인 결과물입니다.

핵심 아이디어: 연구진은 DNN 모델의 반구조적(semi-structured) 및 비구조적(unstructured) 희소성을 효과적으로 활용하는 데 초점을 맞췄습니다. FPGA의 비트 단위 구성 가능성을 이용하여, 가중치 블록 내 일부 비트를 활용해 다음 블록의 희소성 정보를 인코딩하는 독창적인 방법을 제시했습니다. 이를 통해 불필요한 계산을 생략하여 성능을 향상시켰습니다. 비구조적 희소성에 대해서는, 0이 아닌 가중치만 계산하는 가변 사이클 순차적 곱셈-누산(multiply-and-accumulate) 유닛을 설계했습니다.

결과: 실험 결과, 비구조적 및 반구조적 희소성 가속기는 각각 최대 3배 및 4배의 속도 향상을 달성했습니다. 두 가지 유형의 희소성을 모두 고려한 통합 설계는 최대 5배의 속도 향상을 보였습니다. 또한, 추가 FPGA 자원 소모량이 적어 소형 FPGA에서도 DNN 가속이 가능하다는 것을 확인했습니다. 키워드 발견, 이미지 분류, 사람 감지 등 TinyML 애플리케이션을 대상으로 성능을 벤치마킹했습니다.

시사점: 이 연구는 RISC-V 기반의 맞춤형 하드웨어 가속기 설계를 통해 희소 DNN의 효율적인 처리가 가능함을 보여줍니다. FPGA의 유연성을 최대한 활용하여 DNN 모델의 특성에 맞춰 최적화된 하드웨어를 구현함으로써, 에너지 효율적인 TinyML 시스템 구축에 크게 기여할 것으로 기대됩니다. 특히, 하드웨어/소프트웨어 공동 설계 접근 방식은 향후 다양한 DNN 가속화 연구에 중요한 참고 자료가 될 것입니다. 더 나아가, 이 연구는 RISC-V 커뮤니티에 새로운 확장 명령어 세트 및 기능 유닛 설계에 대한 영감을 줄 수 있습니다.

미래 전망: 이 연구 결과는 다양한 임베디드 시스템, 모바일 기기, IoT 기기 등에서 에너지 효율적이고 고성능의 딥러닝 추론을 가능하게 하는 중요한 토대를 마련했습니다. 향후 연구는 더욱 다양한 희소성 패턴 및 더욱 복잡한 DNN 모델에 대한 확장 및 최적화를 통해, 더욱 발전된 딥러닝 가속화 기술 개발에 기여할 것으로 예상됩니다.