TraSCE: AI 이미지 생성 모델의 안전성을 위한 혁신적인 항해


Anubhav Jain 등 연구진이 개발한 TraSCE는 기존 네거티브 프롬프팅의 한계를 극복한 AI 이미지 생성 모델의 유해 콘텐츠 제거 기술입니다. 추가 훈련 없이도 새로운 개념을 제거할 수 있으며, 다양한 벤치마크에서 최첨단 성능을 입증했습니다.

related iamge

최근 텍스트-이미지 확산 모델의 발전으로 인해 누구나 쉽게 접근하고 사용할 수 있게 되었지만, 이러한 모델들이 NSFW(Not Safe For Work) 이미지와 같은 유해 콘텐츠를 생성하는 문제가 발생하고 있습니다. 기존의 유해 개념 제거 방식은 '탈옥' 기술에 의해 무력화되는 경우가 많았습니다.

이러한 문제를 해결하기 위해 Anubhav Jain 등 7명의 연구원이 제시한 TraSCE(Trajectory Steering for Concept Erasure) 는 확산 과정의 궤적을 유해 콘텐츠 생성 방향에서 벗어나도록 유도하는 혁신적인 접근 방식입니다.

TraSCE는 기존의 네거티브 프롬프팅을 개선하고, 지역화된 손실 기반 가이드를 추가하여 유해 콘텐츠 제거 효과를 더욱 높였습니다. 단순히 네거티브 프롬프트만 사용하는 기존 방식은 특정 상황에서 우회될 수 있다는 점을 지적하며, 이를 개선한 것이 TraSCE의 핵심입니다. 연구팀은 다양한 벤치마크에서 TraSCE가 최첨단 성능을 달성했으며, 적대적 테스트(red teams)에서 제시된 유해 콘텐츠까지도 효과적으로 제거하는 것을 입증했습니다. 뿐만 아니라, 특정 예술적 스타일이나 개체를 지우는 데에도 탁월한 성능을 보였습니다.

가장 주목할 만한 점은 TraSCE가 추가적인 훈련이나 모델 수정, 혹은 이미지/프롬프트 데이터 없이 새로운 개념을 제거할 수 있다는 것입니다. 이는 모델 개발자들에게 유해 콘텐츠 제거를 위한 간편하고 효율적인 솔루션을 제공한다는 점에서 큰 의미를 가집니다.

TraSCE는 AI 모델의 안전성 확보에 새로운 지평을 열었습니다. 단순히 문제점을 지적하는 것을 넘어, 실질적인 해결책을 제시함으로써 AI 기술의 윤리적 사용에 대한 중요한 전환점을 마련한 것입니다. 앞으로 AI 모델의 안전성 향상을 위한 연구 개발에 중요한 영향을 미칠 것으로 기대됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] TraSCE: Trajectory Steering for Concept Erasure

Published:  (Updated: )

Author: Anubhav Jain, Yuya Kobayashi, Takashi Shibuya, Yuhta Takida, Nasir Memon, Julian Togelius, Yuki Mitsufuji

http://arxiv.org/abs/2412.07658v1