균일한 에지 디바이스를 위한 하드웨어 인식 DNN 압축: HDAP의 등장

본 연구는 균일한 에지 디바이스 간 성능 차이를 고려한 새로운 딥러닝 압축 프레임워크 HDAP를 제시합니다. 디바이스 클러스터링과 대리 평가 기법을 활용하여 효율성을 높였으며, 실험 결과 기존 방법 대비 상당한 속도 향상을 확인했습니다.

똑같은 스마트폰이라도 사용 환경이나 시간 경과에 따라 성능 차이가 발생하는 것처럼, 동일한 기종의 에지 디바이스라고 해도 제조 과정의 미세한 차이, 배터리 성능 저하, 사용자 설정 등으로 인해 딥러닝 모델의 실행 속도가 달라질 수 있습니다. 기존의 딥러닝 압축 기술들은 이러한 현실적인 문제를 충분히 고려하지 못했습니다.

하지만 이제, Kunlong Zhang을 비롯한 연구팀이 개발한 HDAP (Homogeneous-Device Aware Pruning) 이 이 문제에 대한 해결책을 제시합니다. HDAP는 균일한 에지 디바이스에서 최적의 평균 성능을 달성하기 위해 설계된 하드웨어 인식 DNN 압축 프레임워크입니다.

수천, 수백만 개의 디바이스를 일일이 평가하는 것은 시간이 너무 오래 걸립니다. HDAP는 이러한 어려움을 해결하기 위해, 모든 디바이스를 여러 클러스터로 나눕니다. 이를 통해 평가해야 할 디바이스 수를 획기적으로 줄이고, 실시간 하드웨어 평가 대신 대리 평가 기법을 사용합니다. 이는 마치, 전체 학급의 성적을 파악하기 위해 모든 학생의 시험지를 일일이 검토하는 대신, 대표 학생들의 시험지를 보고 전체적인 경향을 파악하는 것과 유사합니다.

ImageNet 데이터셋을 사용하여 ResNet50과 MobileNetV1을 대상으로 실험한 결과, HDAP는 기존 최첨단 방법들과 비교하여 평균 추론 지연 시간을 꾸준히 감소시켰습니다. 특히 ResNet50에서는 1.0G FLOPs에서 2.86배의 속도 향상이라는 놀라운 결과를 보였습니다.

HDAP는 균일한 에지 디바이스에서 확장성이 뛰어나고 고성능인 DNN 배포 방법을 위한 효과적인 해결책을 제공합니다. 이는 단순한 기술적 진보를 넘어, 실제 현장에서 딥러닝 기술의 활용성을 크게 높이는 혁신적인 성과입니다. 앞으로 다양한 에지 디바이스 환경에서 딥러닝 모델의 효율적인 배포 및 실행에 중요한 역할을 할 것으로 기대됩니다.