획기적인 AI 텍스트 식별 기술 등장: 인간 vs. LLM, 과연 누가 썼을까?
본 연구는 설명 가능한 AI(XAI)를 활용하여 인간 작성 텍스트와 LLM 생성 텍스트를 높은 정확도(98.5%)로 구분하는 모델을 개발했습니다. 기존 기술보다 향상된 성능과 XAI 기반의 상세 분석을 통해 표절 탐지 및 콘텐츠 독창성 검증에 기여할 것으로 기대됩니다.

최근 생성형 AI 대규모 언어 모델(LLM)의 발전으로 인해 AI가 생성한 콘텐츠와 인간이 작성한 콘텐츠를 구분하는 것이 중요한 과제로 떠올랐습니다. 학생들의 과제 표절 문제부터 저작권 침해까지, 그 파장은 사회 전반에 걸쳐 있습니다.
이러한 문제에 대한 해결책으로, 아야트 나자르(Ayat Najjar) 등 연구진이 발표한 논문 "LLM 텍스트 귀속을 위한 설명 가능한 AI 활용: 인간 작성 텍스트와 여러 LLM 생성 텍스트 구분"은 주목할 만합니다. 연구진은 다양한 머신러닝(ML) 및 딥러닝(DL) 알고리즘(Random Forest, Recurrent Neural Networks 등)과 설명 가능한 AI(XAI)를 활용하여 LLM이 생성한 텍스트를 효과적으로 식별하는 모델을 개발했습니다.
핵심 내용:
- 이중 분류: 인간 작성 텍스트와 AI 생성 텍스트를 구분하는 이중 분류 시스템 구축
- 다중 분류: 인간 작성 텍스트와 ChatGPT, LLaMA, Google Bard, Claude, Perplexity 등 5가지 LLM 도구가 생성한 텍스트를 구분하는 다중 분류 시스템 구축
- 놀라운 정확도: 기존의 GPTZero(78.3%)를 훨씬 능가하는 98.5%의 정확도 달성. 특히 GPTZero가 4.2%의 관측치를 인식하지 못한 반면, 본 연구의 모델은 전체 테스트 데이터셋을 정확하게 인식했습니다.
- XAI의 활용: XAI를 통해 각 클래스에서 중요한 특징을 파악, 저자/소스 프로필을 자세히 분석하고 표절 탐지에 활용 가능한 독특한 스타일 및 구조적 요소를 강조함으로써 콘텐츠의 독창성 검증을 강화했습니다.
시사점:
이 연구는 LLM 생성 텍스트 탐지 분야에 획기적인 발전을 가져왔습니다. 단순히 텍스트의 출처를 확인하는 것을 넘어, XAI를 통해 텍스트의 스타일과 구조적 특징을 분석하여 표절 여부를 더욱 정확하게 판별할 수 있는 가능성을 열었습니다. 교육 현장은 물론, 저작권 보호 및 콘텐츠 검증 등 다양한 분야에서 폭넓게 활용될 것으로 기대됩니다. 하지만, 지속적인 연구와 기술 발전을 통해 AI의 지능화에 따른 새로운 위협에 대한 대비도 필요할 것입니다. 앞으로 LLM의 발전과 더불어 이러한 텍스트 식별 기술 또한 더욱 정교해질 것으로 예상되며, 윤리적 문제와 사회적 영향에 대한 깊이 있는 고찰이 함께 이루어져야 할 것입니다.
Reference
[arxiv] Leveraging Explainable AI for LLM Text Attribution: Differentiating Human-Written and Multiple LLMs-Generated Text
Published: (Updated: )
Author: Ayat Najjar, Huthaifa I. Ashqar, Omar Darwish, Eman Hammad
http://arxiv.org/abs/2501.03212v1