딥러닝의 취약성을 파고드는 'Deep Neural Lesion': 데이터 없이 신경망을 무력화시키다

본 기사는 이스라엘 테크니온 공과대학 연구진이 개발한 Deep Neural Lesion(DNL)에 대해 다룹니다. DNL은 극소수의 부호 비트 변경만으로 딥러닝 모델의 정확도를 급격히 떨어뜨리는 데이터 불필요 경량 공격 기법으로, AI 시스템의 취약성을 보여주는 동시에 새로운 보안 연구의 필요성을 강조합니다.

최근 이스라엘 테크니온 공과대학 연구진이 발표한 논문 "No Data, No Optimization: A Lightweight Method To Disrupt Neural Networks With Sign-Flips"는 딥러닝 모델의 놀라운 취약성을 드러냅니다. 연구진이 개발한 Deep Neural Lesion (DNL) 은 훈련 데이터 없이도 신경망의 성능을 극적으로 저하시키는 경량급 방법입니다.

핵심은 매개변수의 부호 비트(sign bits)를 변경하는 것입니다. 단 몇 개의 부호 비트만 바꿔도 딥러닝 모델의 정확도가 급격히 떨어집니다. 이미지넷 데이터셋에서 ResNet50 모델의 경우, 단 두 개의 부호 비트만 변경했을 뿐인데 정확도가 99.8%나 감소했다는 충격적인 결과가 보고되었습니다. 🤯

DNL의 가장 놀라운 점은 데이터가 필요 없다는 것입니다. 기존의 공격 기법들은 대량의 데이터를 필요로 했지만, DNL은 데이터 없이도 작동합니다. 또한, 소프트웨어, 펌웨어, 하드웨어 기반의 다양한 공격 벡터에 적용될 수 있다는 점에서 그 위험성이 더욱 커집니다.

더욱 심각한 것은, 단일 전방 및 역방향 패스(single forward and backward pass)만으로도 DNL보다 더 큰 피해를 입힐 수 있는 향상된 변형이 존재한다는 사실입니다. 이는 AI 시스템의 보안에 대한 심각한 위협으로 받아들여져야 합니다.

하지만 연구진은 이러한 공격에 대한 방어책도 제시합니다. 취약한 부호 비트의 일부를 선택적으로 보호함으로써 공격으로부터 시스템을 보호할 수 있다는 것입니다. 이러한 방어 전략은 DNL의 위협에 효과적으로 대응할 수 있는 실질적인 해결책을 제시합니다.

이 연구는 AI 시스템의 보안에 대한 경각심을 일깨워줍니다. DNL의 등장은 AI 보안 연구에 새로운 국면을 열었으며, 더욱 강력하고 안전한 AI 시스템 개발의 필요성을 강조합니다. 앞으로 AI 시스템의 보안 강화를 위한 지속적인 연구가 절실히 요구됩니다.