딥페이크 위협 종식을 위한 획기적 연구: TRCE 알고리즘

중국과학원 연구진이 개발한 TRCE 알고리즘은 텍스트-이미지 확산 모델에서 암시적으로 내포된 악성 개념까지 제거하는 데 성공, 딥페이크 기술의 윤리적 문제 해결에 중요한 진전을 이루었습니다.

최근 텍스트-이미지 확산 모델의 발전은 놀라운 수준의 사실적인 이미지 생성을 가능하게 했습니다. 하지만 이러한 기술은 NSFW 이미지와 같은 악성 콘텐츠 생성이라는 심각한 위험을 동시에 안고 있습니다.

기존의 악성 개념 제거 방법들은 명시적인 악성 개념은 어느 정도 제거할 수 있었지만, 은유적 표현이나 적대적 프롬프트처럼 암시적으로 내포된 악성 개념까지 완벽하게 제거하는 데는 어려움을 겪었습니다. 모델의 정상적인 생성 능력까지 손상시키는 경우도 빈번했습니다.

이러한 문제를 해결하기 위해, 중국과학원 소속 연구원 Ruidong Chen을 비롯한 6명의 연구진은 TRCE(Towards Reliable Malicious Concept Erasure) 라는 혁신적인 알고리즘을 개발했습니다. TRCE는 안전한 이미지 생성과 모델 성능 유지 사이의 균형을 효과적으로 맞추는 두 단계 전략을 채택합니다.

첫 번째 단계는 텍스트 프롬프트에 암시적으로 내포된 악성 의미를 제거하는 데 집중합니다. 연구진은 [EoT] 임베딩이라는 중요한 매핑 목표를 식별하여, 악성 프롬프트를 문맥적으로 유사하지만 안전한 개념을 가진 프롬프트로 매핑하는 데 성공했습니다. 이를 통해 모델이 잡음 제거 과정에서 악성 의미에 과도하게 영향을 받는 것을 방지합니다.

두 번째 단계에서는 확산 모델의 결정론적 특성을 이용하여, 대조 학습을 통해 초기 잡음 제거 예측을 안전한 방향으로 유도합니다. 이는 악성 콘텐츠 생성을 더욱 효과적으로 억제하는 역할을 합니다.

다양한 악성 개념 제거 벤치마크에 대한 종합적인 평가 결과, TRCE는 악성 개념 제거와 모델의 원래 생성 능력 유지라는 두 마리 토끼를 모두 잡았다는 것을 입증했습니다. 코드는 GitHub 에서 확인할 수 있습니다.

주의: 본 논문에는 불쾌감을 유발할 수 있는 모델 생성 콘텐츠가 포함되어 있습니다.

이 연구는 딥페이크 기술의 윤리적 문제 해결에 중요한 기여를 할 것으로 기대되며, 앞으로 더욱 안전하고 책임감 있는 AI 기술 발전에 긍정적인 영향을 미칠 것으로 예상됩니다.