GenAI vs. 인간 팩트체커: 정확한 평가, 부족한 추론

본 연구는 GenAI 모델의 팩트체킹 능력을 평가한 결과, GPT-4o를 포함한 모든 모델이 인간 코더와의 일치율이 중간 수준에 그쳤으며, GenAI 모델의 추론이 언어적 특징과 '경직된' 기준에 크게 의존한다는 점을 밝혔습니다. 요약된 콘텐츠는 효율성 향상에 도움이 될 수 있지만, GenAI 모델에만 의존하는 것은 위험하다는 결론을 제시합니다.

최근 생성형 인공지능(GenAI) 모델의 역량과 한계에 대한 이해가 높아지고 있지만, 콘텐츠의 진실성을 평가하고 추론하는 GenAI의 능력에 대한 이해는 아직 초기 단계입니다. Yuehong Cassandra Tai 등 연구진은 GenAI 모델이 정보의 신뢰성을 평가하고 추론하는 여러 과제에서 GenAI 모델들을 평가하는 연구를 진행했습니다. 실험에 사용된 정보는 미국 지방 정치인들이 페이스북에 게시한 콘텐츠였습니다.

연구 결과, 소비자 애플리케이션에서 가장 많이 사용되는 AI 모델 중 하나인 GPT-4o가 다른 모델보다 우수한 성능을 보였습니다. 하지만 모든 모델에서 인간 코더와의 일치율은 중간 정도에 불과했습니다. 더욱 중요한 것은, GenAI 모델이 신뢰할 수 없는 콘텐츠를 정확하게 식별하더라도, 그 추론은 진실성에 대한 이해보다는 언어적 특징과 세부 수준, 출처 신뢰도, 언어 형식과 같은 '경직된' 기준에 크게 의존한다는 점입니다. 이는 GenAI가 단순히 문장의 구조나 표면적인 특징을 분석하는 데 그치고, 실제 내용의 진위 여부를 깊이 있게 이해하지 못한다는 것을 의미합니다. 마치 숙련된 탐정이 증거를 분석하는 것과는 달리, 단순히 몇 가지 규칙에 따라 판단하는 것과 같습니다.

또한, 연구진은 요약된 콘텐츠와 전체 콘텐츠 입력의 효과를 평가하여 요약된 콘텐츠가 정확성을 희생하지 않고 효율성을 높일 수 있는 가능성을 확인했습니다. 이는 팩트체킹 과정에서 시간과 자원을 절약할 수 있는 긍정적인 결과입니다. 하지만, 연구 결과는 GenAI 모델에만 의존하는 것의 위험성을 경고하고 있습니다. GenAI는 인간 팩트체커의 업무를 지원하는 데 잠재력을 가지고 있지만, 완벽한 해결책이 아니며, 여전히 인간의 판단과 검토가 필수적임을 시사합니다. GenAI는 강력한 도구이지만, 그 결과를 맹신하기보다는 비판적으로 분석하고, 인간의 전문성과 결합하여 사용해야 함을 명심해야 합니다. 마치 날카로운 칼날과 같은 AI를 다루는 것과 같습니다. 그 능력을 제대로 이해하고, 안전하게 사용하는 방법을 숙지해야만 유용한 도구가 될 수 있습니다. 따라서, GenAI의 발전에 따른 기대와 함께, 그 한계와 위험성에 대한 꾸준한 연구와 주의가 필요합니다.