딥러닝의 역사적 기록 해독 혁명: LLM이 OCR/HTR을 뛰어넘다!


거대 언어 모델(LLM)인 GPT-4와 Claude Sonnet 3.5가 기존 OCR/HTR 시스템보다 역사적 기록 문서 필사 작업에서 우수한 성능을 보였으며, 라인 단위 및 전체 이미지 처리 방식에 따른 성능 차이와 인간 평가를 통한 심층 분석 결과를 제시했습니다.

related iamge

최근, 놀라운 연구 결과가 발표되었습니다. 김서린, 줄리앙 보드뤼 등의 연구진이 진행한 연구에 따르면, 거대 언어 모델(LLM)인 GPT-4와 Claude Sonnet 3.5가 기존의 광학 문자 인식(OCR) 및 손글씨 인식(HTR) 시스템을 능가하는 성능을 보였다는 것입니다! 😲

이 연구는 역사적 손글씨 문서를 표 형태로 변환하는 과정에 초점을 맞췄습니다. 연구진은 EasyOCR, Keras, Pytesseract, TrOCR과 같은 기존의 OCR/HTR 시스템과 GPT-4와 Claude Sonnet 3.5를 비교 평가했습니다. 특히, 이미지를 라인 단위로 나눠 처리하는 방식과 전체 이미지를 한 번에 처리하는 방식 두 가지를 모두 실험하여, 각 방식에 따른 LLM의 성능 차이를 분석했습니다.

평가 지표로는 문자 오류율(CER)과 BLEU 점수를 사용했는데, 결과는 놀라웠습니다! LLM이 기존 시스템을 확실하게 앞섰던 것입니다. 하지만 여기서 끝이 아닙니다. 연구진은 객관적인 평가를 위해, CER과 BLEU 점수와 함께 인간의 평가를 추가로 비교 분석했습니다. 특히 전체 이미지를 입력으로 사용한 실험 결과에 대해서는 인간 평가를 통해 더욱 정밀한 분석을 수행했습니다. 이를 통해 CER과 BLEU 점수에 영향을 미치는 요인들을 심층적으로 이해하고자 했습니다.

결론적으로, 라인 단위 이미지 처리에는 두 번의 프롬프트(two-shot)를 사용한 GPT-4가, 전체 이미지 처리에는 두 번의 프롬프트를 사용한 Claude Sonnet 3.5가 가장 정확한 필사 결과를 제공하는 것으로 나타났습니다. 이는 LLM이 단순히 기존 시스템을 대체하는 수준을 넘어, 역사적 기록 해독 분야에 혁신을 가져올 가능성을 보여줍니다. 🎉

이 연구는 단순히 기술적인 성과를 넘어, LLM의 활용 가능성을 넓히는 중요한 의미를 지닙니다. 앞으로 LLM은 방대한 역사 기록을 효율적으로 분석하고 활용하는 데 중요한 역할을 수행할 것으로 기대됩니다. 역사 연구의 새로운 지평을 여는 이 획기적인 연구에 주목해야 할 것입니다!


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Early evidence of how LLMs outperform traditional systems on OCR/HTR tasks for historical records

Published:  (Updated: )

Author: Seorin Kim, Julien Baudru, Wouter Ryckbosch, Hugues Bersini, Vincent Ginis

http://arxiv.org/abs/2501.11623v1