GenAI vs. 인간 팩트체커: 정확한 평가, 부정확한 추론

본 연구는 GenAI 모델의 팩트체크 능력을 평가한 결과, GPT-4o를 포함한 모든 모델이 인간 코더 수준에 미치지 못했으며, 정확한 평가에도 불구하고 추론 과정은 언어적 특징에 지나치게 의존하는 경향을 보였다는 것을 밝혔습니다. 그러나 요약된 콘텐츠를 사용하면 효율성을 높일 수 있는 가능성을 제시하며, 인간과 AI의 협력을 통한 팩트체크 시스템 개선의 필요성을 강조합니다.

최근 생성형 인공지능(GenAI) 모델의 능력과 한계에 대한 이해가 높아지고 있지만, 콘텐츠의 진위 여부를 평가하고 추론하는 GenAI의 능력에 대한 이해는 아직 초기 단계입니다. 미국 하위 행정구역 정치인들이 페이스북에 게시한 콘텐츠를 바탕으로 여러 GenAI 모델을 평가한 최근 연구 결과가 주목을 받고 있습니다.

연구팀은 GenAI 모델들이 정보의 신뢰성을 평가하고 추론하는 과정을 다양한 과제를 통해 평가했습니다. 그 결과, 소비자 애플리케이션에서 가장 많이 사용되는 AI 모델 중 하나인 GPT-4o가 다른 모델보다 우수한 성능을 보였습니다. 하지만 놀랍게도 모든 모델이 인간 코더와의 일치도는 중간 정도에 그쳤습니다. 이는 GenAI 모델이 아직 인간의 팩트체크 능력을 완전히 대체할 수 없다는 것을 시사합니다.

더욱 중요한 것은, GenAI 모델이 신뢰성이 낮은 콘텐츠를 정확하게 식별하더라도, 그 추론 과정이 문제입니다. 단순히 언어적 특징이나 세부 수준, 출처 신뢰성, 언어 형식과 같은 '경직된' 기준에 크게 의존하며, 진실성에 대한 깊이 있는 이해는 부족한 것으로 나타났습니다. 이는 GenAI가 단순히 문장의 형식이나 키워드에 의존하여 판단하는 경향이 있음을 보여주는 결과입니다. 마치 문법적으로 완벽하지만 내용은 허위인 기사를 진실로 판단하는 것과 같습니다.

하지만 희망적인 부분도 있습니다. 연구팀은 요약된 콘텐츠를 사용했을 때 정확성을 유지하면서 효율성을 높일 수 있다는 것을 발견했습니다. 이는 GenAI를 활용하여 팩트체크 과정의 효율성을 높일 수 있는 가능성을 제시합니다. 방대한 정보 속에서 인간 팩트체커가 우선적으로 검토해야 할 정보를 GenAI가 효과적으로 선별해 낼 수 있다는 의미입니다.

결론적으로, GenAI는 인간 팩트체커를 지원하여 잘못된 정보의 확산을 막는 데 기여할 잠재력을 가지고 있지만, 이러한 모델에만 의존해서는 안 된다는 점을 명심해야 합니다. GenAI의 결과는 인간의 판단과 검토를 거쳐 신중하게 활용되어야 합니다. GenAI는 강력한 도구이지만, 결코 인간의 지혜와 판단력을 대체할 수 없습니다. 인간과 AI의 협력을 통해 더욱 정확하고 효율적인 팩트체크 시스템을 구축하는 것이 앞으로의 과제입니다.