압축과 에러 저항성을 동시에! 임베디드 DNN의 새로운 활성화 함수 선택 전략

본 연구는 임베디드 DNN의 활성화 함수 선택을 통해 압축과 에러 저항성을 동시에 향상시키는 새로운 전략을 제시합니다. 자율주행 시스템 등 안전 중요 응용 분야에 적용 가능성을 확인하였으며, 향후 연구를 통해 더욱 강건하고 효율적인 시스템 구축에 기여할 것으로 기대됩니다.

(Jon Gutiérrez Zaballa, Koldo Basterretxea, Javier Echanobe 공동 연구)

자율주행 자동차나 항공우주 산업처럼 안전이 최우선시되는 분야에서 머신러닝 기반 임베디드 시스템은 소프트 에러(soft error)로 인한 오류에 매우 취약합니다. 트랜지스터 크기가 작아지고 전압이 낮아짐에 따라 현대 전자 기기는 배경 방사선에 더 민감해지고, 이로 인한 시스템 오류 가능성이 증가하고 있습니다. 이러한 문제를 해결하기 위해, 연구자들은 활성화 함수(Activation Function, AF) 의 중요성에 주목했습니다.

기존의 연구들은 주로 모델의 정확도와 학습 효율에 초점을 맞췄지만, 이번 연구는 압축 기술(pruning, quantization) 과 함께 활성화 함수의 선택이 소프트 에러 저항성에 미치는 영향을 심층적으로 분석했습니다. 특히, 제한된 값을 갖는(bounded) 활성화 함수를 사용하여 매개변수 변화에 대한 강건성을 높이는 데 집중했습니다.

연구팀은 초분광 이미지의 의미론적 분할을 위한 인코더-디코더 합성곱 모델을 사용하여 자율주행 시스템에 적용 가능성을 평가했습니다. AMD-Xilinx의 KV260 SoM을 사용한 실험을 통해, 제안된 방법이 모델의 정확도, 압축률, 그리고 연산량에 미치는 영향을 종합적으로 분석했습니다.

이 연구는 단순히 모델의 정확도 향상에만 그치지 않고, 임베디드 시스템의 안정성과 에너지 효율을 동시에 개선할 수 있는 가능성을 제시합니다. 이는 자율주행, 항공우주 등 안전이 중요한 분야에서 더욱 안정적이고 신뢰할 수 있는 시스템 구축에 크게 기여할 것으로 기대됩니다. 특히, 활성화 함수 선택이라는 비교적 간단한 방법을 통해 큰 효과를 얻을 수 있다는 점에서 실용적인 의미가 매우 큽니다.

하지만, 다양한 임베디드 시스템 환경과 모델 구조에 대한 추가적인 연구가 필요하며, 실제 현장 적용을 위한 추가적인 검증도 중요한 과제로 남아있습니다. 향후 연구에서는 다양한 활성화 함수와 모델 아키텍처에 대한 광범위한 실험을 통해, 더욱 강건하고 효율적인 임베디드 DNN 설계에 대한 지침을 제공할 수 있을 것으로 예상됩니다.