딥러닝으로 얼굴 합성 공격 잡는다! Vision Transformer 기반 새로운 탐지 알고리즘 등장!
Vision Transformer 기반의 새로운 단일 이미지 얼굴 합성 공격 탐지 알고리즘이 개발되어 기존 알고리즘보다 향상된 성능을 보였으며, 다양한 합성 기법과 장비에 대한 일반화 성능이 우수함을 실험을 통해 입증했습니다.

최근 얼굴 인식 시스템(FRS)을 위협하는 심각한 문제 중 하나가 바로 얼굴 합성 공격입니다. 여권 발급이나 국경 통제 등에서 사용되는 FRS는 합성된 얼굴 이미지에 속수무책으로 취약합니다. 이러한 공격에 맞서기 위해서는 강력한 합성 공격 탐지 알고리즘(MAD) 이 필수적입니다.
하지만 기존 MAD 알고리즘들은 다양한 합성 기법, 후처리 과정, 그리고 프린터/스캐너의 차이 등으로 인해 일반화 성능이 부족했습니다. 특히 단일 이미지만으로 합성 여부를 판별해야 하는 경우 어려움이 더욱 커집니다.
이에 Haoyu Zhang 등 연구진은 Vision Transformer(ViT) 아키텍처를 활용한 새로운 단일 이미지 기반 MAD (S-MAD) 알고리즘을 개발했습니다. ViT는 CNN과 달리 국지적 및 전역적 정보를 통합적으로 처리하여 얼굴 영역에 광범위하게 분포된 합성 흔적을 효과적으로 탐지할 수 있다는 장점이 있습니다.
연구진은 공개된 FRGC 얼굴 데이터셋을 사용하여 다양한 실험을 진행했습니다. 기존 최고 성능(SOTA) MAD 알고리즘들과 비교 결과, 새로운 S-MAD 알고리즘은 데이터셋 간 테스트(다른 데이터로 학습 및 테스트) 에서 향상된 탐지 성능을 보였고, 데이터셋 내 테스트(같은 데이터로 학습 및 테스트) 에서는 비슷한 수준의 성능을 유지했습니다. 이는 ViT 기반 S-MAD 알고리즘이 다양한 상황에서도 뛰어난 일반화 능력을 가짐을 의미합니다.
이 연구는 단일 이미지만으로도 얼굴 합성 공격을 효과적으로 탐지할 수 있는 새로운 가능성을 제시합니다. 앞으로 얼굴 인식 시스템의 보안 강화에 크게 기여할 것으로 기대됩니다. 특히, 국경 관리 및 신원 확인 등 보안이 중요한 분야에서 활용될 경우 그 효과는 더욱 클 것입니다. 하지만, 실제 적용을 위해서는 다양한 실제 환경 데이터를 활용한 추가적인 연구와 검증이 필요할 것으로 보입니다.
Reference
[arxiv] Generalized Single-Image-Based Morphing Attack Detection Using Deep Representations from Vision Transformer
Published: (Updated: )
Author: Haoyu Zhang, Raghavendra Ramachandra, Kiran Raja, Christoph Busch
http://arxiv.org/abs/2501.09817v1