GenAI vs. 인간 팩트체커: 정확한 평가, 부정확한 추론

본 연구는 GenAI 모델의 팩트체킹 능력을 평가한 결과, GPT-4o를 포함한 모든 모델이 인간 코더와의 일치율이 중간 수준에 그쳤으며, 진실성에 대한 이해보다는 언어적 특징에 의존하는 경향을 보였다고 결론지었습니다. 요약된 콘텐츠를 활용하면 효율성을 높일 수 있지만, GenAI 모델에만 의존해서는 안 되며, 인간의 감독이 필수적임을 강조합니다.

최근 생성형 인공지능(GenAI) 모델의 능력과 한계에 대한 이해가 높아지고 있지만, 콘텐츠의 진실성을 평가하고 추론하는 GenAI의 능력에 대한 이해는 아직 초기 단계입니다.

미국 하위 행정구역 정치인들이 페이스북에 게시하는 콘텐츠를 사용한 실험에서, 연구진들은 여러 GenAI 모델을 평가했습니다. 목표는 정보의 신뢰성에 대한 평가 및 추론 능력을 측정하는 것이었습니다.

결과는 놀라웠습니다. 소비자 애플리케이션에서 가장 많이 사용되는 AI 모델 중 하나인 GPT-4o가 다른 모델보다 우수한 성능을 보였습니다. 하지만 모든 모델에서 인간 코더와의 일치율은 중간 수준에 그쳤습니다. 이는 GenAI가 아직 인간 수준의 팩트체킹 능력을 갖추지 못했다는 것을 시사합니다.

더욱 중요한 것은, GenAI 모델이 신뢰성이 낮은 콘텐츠를 정확하게 식별하더라도, 그 추론 과정이 문제였습니다. 단순히 언어적 특징과 '경직된' 기준(세부 수준, 출처 신뢰성, 언어의 형식성 등)에 크게 의존했지, 진실성에 대한 깊이 있는 이해를 바탕으로 추론하지는 못했습니다. 이는 GenAI가 단순히 패턴을 인식하는 데 능숙하지만, 진실과 거짓을 판별하는 복잡한 인지 과정은 아직 완벽하게 구현하지 못하고 있음을 보여줍니다.

다행히도, 요약된 콘텐츠가 전체 콘텐츠보다 효율성을 높이는 데 효과적이라는 점도 발견되었습니다. 이는 GenAI를 활용하여 팩트체킹의 효율성을 높일 수 있는 가능성을 제시합니다. 하지만, 이러한 결과는 GenAI 모델에만 의존해서는 안 된다는 중요한 경고를 담고 있습니다. GenAI는 인간 팩트체커를 지원하는 도구로서의 잠재력을 가지고 있지만, 여전히 인간의 감독과 판단이 필수적입니다. GenAI의 한계를 인지하고, 신중하게 활용해야 진정한 효과를 얻을 수 있을 것입니다.

결론적으로, GenAI는 팩트체킹 분야에 기여할 수 있는 잠재력을 가지고 있지만, 완벽한 대안이 될 수는 없습니다. 인간의 지능과 판단력을 보완하는 도구로서 GenAI를 활용하는 전략이 필요합니다.