딥페이크 탐지의 새로운 지평: VIBA를 통한 영상 분류의 설명 가능성 확보

Veronika Solopova, Lucas Schmidt, Dorothea Kolossa 연구팀이 개발한 VIBA는 영상 분류, 특히 딥페이크 탐지에 대한 설명 가능성을 높이는 혁신적인 방법입니다. 기존의 블랙박스 모델과 달리 VIBA는 조작된 영역과 움직임 불일치를 시각적으로 보여주는 설명을 생성하여 높은 신뢰도와 투명성을 제공합니다.

최근 딥페이크 기술의 발전으로 가짜 영상을 진짜처럼 만들어내는 것이 점점 더 용이해지고 있습니다. 이러한 상황에서 딥페이크 영상을 탐지하고 진위 여부를 판별하는 기술의 중요성은 더욱 커지고 있습니다. 하지만, 기존의 딥페이크 탐지 모델들은 블랙박스처럼 작동하여 그 결과에 대한 설명 가능성이 부족하다는 한계를 가지고 있었습니다.

이러한 문제를 해결하기 위해 Veronika Solopova, Lucas Schmidt, Dorothea Kolossa 연구팀은 VIBA (Video Information Bottleneck Attribution) 라는 혁신적인 방법을 제시했습니다. VIBA는 Information Bottlenecks for Attribution (IBA) 라는 기존의 설명 가능성 기법을 영상 시퀀스에 적용한 새로운 접근 방식입니다. 기존 IBA는 주로 이미지 모델에 초점을 맞춰왔지만, VIBA는 비디오 분석에 사용되는 시계열 모델의 설명 가능성을 높이는 데 중점을 두고 있습니다.

연구팀은 VIBA의 효과를 입증하기 위해 딥페이크 탐지에 적용했습니다. 공간적 특징을 추출하는 Xception 모델과 광학 흐름을 통해 움직임 역학을 포착하는 VGG11 기반 모델 두 가지 아키텍처에 VIBA를 적용하여 최근 딥페이크 생성 기술을 반영한 맞춤형 데이터셋을 사용했습니다. 그 결과, VIBA는 관련성 맵(relevance maps) 과 광학 흐름 맵(optical flow maps) 을 생성하여 조작된 영역과 움직임의 불일치를 시각적으로 명확하게 보여주었습니다.

놀라운 점은 VIBA가 생성한 설명이 시간적 및 공간적으로 일관성을 유지하며, 사람의 주석과 매우 잘 일치한다는 것입니다. 이는 VIBA가 비디오 분류, 특히 딥페이크 탐지에 대한 해석력을 크게 향상시킨다는 것을 의미합니다. VIBA는 단순히 딥페이크를 탐지하는 것을 넘어, 왜 딥페이크로 판별했는지에 대한 명확한 이유를 제공함으로써 신뢰도를 높이고, 더욱 안전하고 투명한 AI 시스템 구축에 기여할 것으로 기대됩니다. 앞으로 VIBA가 다양한 영상 분석 분야에 적용되어 설명 가능한 AI 시스템 개발을 가속화할 것으로 예상됩니다.

Keywords: VIBA, 딥페이크 탐지, 설명 가능한 AI, 영상 분류, 시계열 모델, Xception, VGG11, 광학 흐름, 관련성 맵