AI의 신뢰성 위협: 연합 학습 시스템을 노리는 새로운 모델 포이즈닝 공격 'Delphi'
본 연구는 연합 학습(FL) 시스템의 신뢰성 문제에 초점을 맞춰, 새로운 모델 포이즈닝 공격 기법인 'Delphi'를 제시합니다. Delphi는 베이지안 최적화와 최소 제곱 신뢰 영역을 활용하여 모델의 불확실성을 극대화하며, 실험 결과 FL 시스템의 취약성을 입증했습니다.

AI가 발전함에 따라 개인정보 보호와 AI 시스템의 신뢰성에 대한 우려가 커지고 있습니다. 특히, 개인 데이터를 직접 공유하지 않는 연합 학습(Federated Learning, FL)에서도 신뢰성 문제는 여전히 존재합니다.
Marios Aristodemou 등의 연구진은 최근 발표한 논문에서 **연합 학습 시스템의 취약점을 악용하는 새로운 모델 포이즈닝 공격 기법인 'Delphi'**를 소개했습니다. Delphi는 악의적인 사용자가 학습 과정 중에 악성 모델 매개변수를 생성하여 모델의 예측 및 생성 능력을 손상시키는 공격 방식입니다.
Delphi의 핵심은 불확실성을 극대화하는 것입니다. 연구진은 베이지안 최적화(Bayesian Optimization)와 최소 제곱 신뢰 영역(Least Squares Trust Region) 이라는 두 가지 최적화 기법을 활용하여, 지역 모델의 첫 번째 은닉층의 모델 매개변수와 불확실성 간의 관계를 이용하여 최적의 악성 모델 매개변수를 찾습니다. 이를 통해 모델의 출력 확률 분포를 불확실한 분포에 가깝게 만들어 불확실성을 증가시키는 것입니다. KL Divergence를 활용하여 불확실성을 정량화했습니다.
연구진은 또한 FL에서 공격의 효과에 대한 수학적 증명을 제시했습니다. 실험 결과, Delphi-BO(베이지안 최적화 기반) 는 Delphi-LSTR(최소 제곱 신뢰 영역 기반) 보다 더 높은 수준의 불확실성을 유발하는 것으로 나타났습니다. 이는 연합 학습 시스템이 모델 포이즈닝 공격에 취약함을 시사하는 중요한 결과입니다.
이 연구는 연합 학습의 보안 취약성을 명확히 보여주는 동시에, 더욱 안전하고 신뢰할 수 있는 AI 시스템 개발을 위한 중요한 시사점을 제공합니다. 향후 연구에서는 Delphi 공격에 대한 방어 메커니즘 개발이 중요한 과제가 될 것입니다.
Reference
[arxiv] Maximizing Uncertainty for Federated learning via Bayesian Optimisation-based Model Poisoning
Published: (Updated: )
Author: Marios Aristodemou, Xiaolan Liu, Yuan Wang, Konstantinos G. Kyriakopoulos, Sangarapillai Lambotharan, Qingsong Wei
http://arxiv.org/abs/2501.08002v2