딥페이크 시대, AI 이미지 워터마킹의 현주소: EU AI 법안과의 조우
본 기사는 AI 이미지 생성 기술의 발전으로 인한 딥페이크 문제와 EU AI 법안의 워터마킹 의무화에 대한 연구 결과를 소개합니다. 연구진은 50개의 주요 AI 이미지 생성 시스템에 대한 분석을 통해 대다수 업체가 적절한 워터마킹을 구현하지 못하고 있음을 밝혔으며, 이에 대한 추가적인 노력과 정책적 대응의 필요성을 강조했습니다.

갈수록 정교해지는 AI 이미지 생성 기술은 이제 우리의 눈으로 진위를 판별하기 어려울 정도에 이르렀습니다. 실제 인물을 사칭하는 '딥페이크'의 등장은 진실과 허구의 경계를 모호하게 만들며, 사회적 위험을 증폭시키고 있습니다. 이러한 문제 해결의 핵심으로 떠오른 것이 바로 워터마킹입니다. AI 생성 이미지에 생성 여부를 알리는 식별 정보를 삽입하는 기술인 워터마킹은 AI 생성 이미지의 위험을 줄이는 데 중요한 역할을 합니다. 특히 2024년 EU AI 법안은 워터마킹을 법적으로 의무화하면서, 그 중요성을 더욱 부각시켰습니다.
하지만, Bram Rijsbosch, Gijs van Dijck, Konrad Kollnig 등의 연구진이 발표한 논문 "Adoption of Watermarking for Generative AI Systems in Practice and Implications under the new EU AI Act"에 따르면, 현실은 우려스럽습니다. AI 이미지 생성 시스템이 널리 보급되었음에도 불구하고, 워터마킹 구현 현황에 대한 체계적인 분석은 부족했습니다. EU AI 법안의 워터마킹 요구사항에 대한 실질적 영향 또한 제대로 연구된 바 없었습니다.
연구진은 50개의 널리 사용되는 AI 이미지 생성 시스템을 대상으로 실증 분석을 수행했습니다. EU AI 법안과 관련된 4가지 유형의 AI 이미지 생성 시스템을 분류하고 각 유형에 대한 법적 의무를 명확히 했습니다. 그 결과, 충분한 워터마킹 방식을 구현한 제공업체는 소수에 불과하다는 사실을 밝혀냈습니다. 이는 AI 생성 이미지의 위험을 효과적으로 관리하기 위한 추가적인 노력과 정책적 대응이 시급함을 시사합니다. 향후 AI 기술 발전에 따른 규제와 기술적 해결책 마련이 중요한 과제로 떠오르고 있습니다. 이 연구는 AI 기술 발전의 윤리적, 법적 함의를 고민하는 중요한 전환점이 될 것입니다.
핵심 내용 요약:
- AI 이미지 생성 기술의 발전과 딥페이크 문제 심각성
- EU AI 법안에서 워터마킹 의무화
- 50개 AI 생성 시스템 분석 결과: 워터마킹 미흡
- 추가적인 노력과 정책적 대응 필요성 강조
Reference
[arxiv] Adoption of Watermarking for Generative AI Systems in Practice and Implications under the new EU AI Act
Published: (Updated: )
Author: Bram Rijsbosch, Gijs van Dijck, Konrad Kollnig
http://arxiv.org/abs/2503.18156v1