AI 저작권 논쟁 종결자? 'Obliviate' 등장!


마크 러시노비치와 아흐메드 살렘이 개발한 'Obliviate'는 AI 모델의 저작권 콘텐츠 재생산 문제를 해결하는 획기적인 기술입니다. 기존 기술의 한계를 극복하고, 단어 그대로의 암기를 최대 100배 감소시키면서 성능 저하를 최소화하는 놀라운 성과를 거두었습니다. 이는 AI 산업의 저작권 문제 해결에 중요한 전환점이 될 것으로 기대됩니다.

related iamge

최근 AI 기업들과 콘텐츠 제작자 간의 저작권 계약이 뜨거운 감자로 떠오르면서, AI 모델의 저작권 콘텐츠 재생산 능력을 정밀하게 제어할 필요성이 더욱 커지고 있습니다. 기존의 기술들은 완전한 개념 제거를 통한 언러닝(unlearning)이나 단순 출력 필터링에 의존했지만, 마크 러시노비치와 아흐메드 살렘이 제안한 새로운 기술 **'Obliviate'**는 이러한 한계를 뛰어넘는 혁신적인 해결책을 제시합니다.

Obliviate는 사후 훈련 기법으로, 특정 텍스트의 단어 그대로의 재생산을 선택적으로 방지하면서 의미론적 이해는 유지하는 기술입니다. 핵심은 암기된 시퀀스 내의 토큰을 선택하고, 모델의 확률 분포를 수정하여 정확한 재현을 방지하는 동시에 문맥적 이해를 유지하는 데 있습니다.

연구팀은 LLaMA-3.1 8B, LLaMA-3.1-instruct 8B, Qwen-2.5-7B, Yi-1.5 6B 등 여러 대규모 언어 모델(LLM)을 사용하여 합성 암기 작업과 실제 저작권 콘텐츠를 대상으로 Obliviate를 평가했습니다. 그 결과, Obliviate는 단어 그대로의 암기를 무려 100배나 감소시키는 놀라운 성과를 보였습니다. 동시에 HellaSwag, MMLU, TruthfulQA, Winogrande와 같은 표준 벤치마크에서는 기준 성능 대비 1% 이내의 성능 저하만을 보였습니다.

이는 Obliviate가 사전 훈련된 모델에서 저작권 문제를 효율적으로 해결하면서 일반적인 기능을 유지해야 하는 실제 배포 환경에 특히 적합하다는 것을 의미합니다. AI 기술 발전과 저작권 문제 사이의 균형을 맞추는 데 중요한 이정표를 세운 Obliviate는 AI 산업의 미래에 중요한 영향을 미칠 것으로 예상됩니다. 앞으로 Obliviate의 발전과 활용 방안에 대한 지속적인 관심과 연구가 필요합니다.


핵심 내용:

  • Obliviate: 특정 텍스트의 단어 그대로의 재생산 방지, 의미론적 이해 유지
  • 성능: 단어 그대로의 암기 100배 감소, 표준 벤치마크 성능 저하 1% 미만
  • 적용: 사전 훈련된 모델의 저작권 문제 해결, 실용적인 배포 환경에 적합

*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Obliviate: Efficient Unmemorization for Protecting Intellectual Property in Large Language Models

Published:  (Updated: )

Author: Mark Russinovich, Ahmed Salem

http://arxiv.org/abs/2502.15010v1