OCRBench v2: 다중모달 모델의 OCR 성능 평가에 새로운 기준을 제시하다

OCRBench v2는 LMM의 OCR 성능 평가를 위한 새로운 벤치마크로, 기존 벤치마크의 한계를 극복하고 더욱 포괄적이고 어려운 과제들을 포함하여 LMM의 실제 성능을 정확하게 평가할 수 있도록 설계되었습니다. 최첨단 LMM들의 평가 결과는 LMM의 OCR 성능 개선에 대한 지속적인 연구 개발의 필요성을 강조합니다.

OCRBench v2: 대규모 다중모달 모델의 OCR 능력, 과연 어디까지?

최근 대규모 다중모달 모델(LMMs)의 광학 문자 인식(OCR) 능력에 대한 관심이 높아지고 있습니다. 하지만 기존 벤치마크는 LMMs의 뛰어난 텍스트 인식 성능만을 부각하고, 텍스트 위치 파악, 필기체 추출, 논리적 추론과 같은 어려운 과제는 제대로 다루지 못했습니다.

이러한 한계를 극복하고자 등장한 것이 바로 OCRBench v2입니다. Ling Fu 등 23명의 연구진이 개발한 OCRBench v2는 기존 벤치마크보다 4배나 많은 과제를 포함하고 있으며, 거리 풍경, 영수증, 수식, 도표 등 31가지 다양한 시나리오를 포괄합니다. 무려 1만 개의 인간 검증을 거친 질문-답변 쌍과 높은 비율의 난이도 높은 샘플들을 포함하고 있다는 점이 특징입니다.

과연 최첨단 LMM들의 성능은 어떨까요? 연구진은 22개의 최첨단 LMM을 OCRBench v2로 평가한 결과, 놀랍게도 20개의 LMM이 100점 만점에 50점 미만의 점수를 받았습니다. 이 결과는 LMM이 자주 접하지 못한 텍스트 인식, 세밀한 인식, 레이아웃 인식, 복잡한 요소 분석, 논리적 추론 등 다섯 가지 측면에서 여전히 한계를 가지고 있음을 보여줍니다.

이는 LMM의 OCR 성능 향상을 위한 지속적인 연구 개발의 필요성을 강조하는 결과입니다. OCRBench v2 벤치마크와 평가 스크립트는 https://github.com/Yuliang-liu/MultimodalOCR 에서 확인할 수 있습니다. 이번 연구는 LMM의 OCR 성능 향상에 대한 새로운 이정표를 제시하며, 앞으로의 연구 방향에 중요한 시사점을 제공할 것으로 기대됩니다. 🔎