잊고 기억하는 AI 공격: 블랙박스 픽셀 공격의 새로운 지평을 열다

카이스트 연구진이 개발한 RFPAR 알고리즘은 강화학습 기반의 '기억과 망각' 과정을 통해 블랙박스 픽셀 공격의 효율성과 성공률을 높였습니다. 이미지 분류 및 객체 탐지 분야에서 기존 최고 성능을 뛰어넘거나 비슷한 성능을 보이며, AI 보안 분야에 중요한 기여를 할 것으로 기대됩니다.

카이스트 연구진이 AI 이미지 인식 시스템의 취약점을 파고드는 놀라운 새로운 공격 기법을 개발했습니다. 송동수, 고대화, 정재훈 교수팀은 **'Remember and Forget Pixel Attack using Reinforcement Learning (RFPAR)'**이라는 혁신적인 알고리즘을 통해 블랙박스 픽셀 공격의 성공률을 크게 높였습니다. 블랙박스 공격이란, AI 시스템의 내부 구조를 모르는 상태에서 공격을 가하는 것을 말하는데, RFPAR은 이 분야의 난제를 극복하는 중요한 발걸음을 내디뎠습니다.

기존의 쿼리 기반 픽셀 공격은 이미지의 일부분(패치)을 조작하는 방식으로, 무작위성에 크게 의존하고 효율성이 떨어지는 단점이 있었습니다. 하지만 RFPAR은 다릅니다. '기억'과 '망각'이라는 독창적인 두 단계 과정을 통해 강화학습(Reinforcement Learning)을 활용하여, 제한된 픽셀만을 효율적으로 조작합니다. 마치 AI 시스템의 방어벽을 정교하게 공략하는 전략가처럼, 가장 효과적인 픽셀을 선택하여 공격하는 것이죠. 이는 흩어진 픽셀들이 패치보다 공격에 더 적합하다는 사실에 착안한 결과입니다.

RFPAR의 핵심은 다음과 같습니다:

• 제한된 픽셀 조작: 불필요한 픽셀 수정을 최소화하여 효율성을 극대화합니다.
• 강화학습 기반: 최적의 픽셀 조작 전략을 학습하여 성공률을 높입니다.
• '기억과 망각' 과정: 이전 시도의 결과를 기억하고, 비효율적인 조작은 잊어버림으로써 학습 효율을 높입니다.
• 이미지 분류 및 객체 탐지 모두 적용: ImageNet-1K (이미지 분류), MSCOCO, Argoverse (객체 탐지) 데이터셋에서 모두 효과적으로 작동합니다.

실험 결과는 놀랍습니다. ImageNet-1K 데이터셋에서 기존 최첨단 쿼리 기반 픽셀 공격보다 우수한 성능을 보였으며, MSCOCO 및 Argoverse 데이터셋을 사용한 객체 탐지 실험에서도 기존 방법과 비슷하거나 더 나은 성능을, 훨씬 적은 쿼리 수로 달성했습니다. 이는 RFPAR의 효율성과 정확성을 명확히 보여줍니다. 연구팀은 GitHub (https://github.com/KAU-QuantumAILab/RFPAR)에 코드를 공개하여, AI 보안 분야의 발전에 기여하고 있습니다.

이 연구는 단순한 공격 기술 개발을 넘어, AI 시스템의 안전성과 신뢰성을 높이는 데 중요한 시사점을 제공합니다. RFPAR의 등장은 AI 보안 연구에 새로운 활력을 불어넣고, 더욱 강력하고 안전한 AI 시스템 개발을 위한 중요한 이정표가 될 것입니다. 앞으로 이러한 연구가 AI의 윤리적 사용과 안전한 사회 구축에 어떻게 기여할지 주목할 필요가 있습니다.