비전 거대 언어 모델 기반 표 인식의 혁신: 이웃 안내 도구 체인 추론기(NGTR)


본 연구는 저품질 이미지 입력이 VLLM 기반 표 인식의 주요 제한점임을 밝히고, 이를 해결하기 위해 이웃 정보를 활용한 도구 체인 추론기(NGTR) 프레임워크를 제안합니다. NGTR은 기존 VLLM의 성능을 크게 향상시켜 표 인식 분야에 새로운 가능성을 제시합니다.

related iamge

비전 거대 언어 모델(VLLM)의 한계를 넘어서다: 표 인식의 새로운 지평

최근 사전 훈련된 기반 모델은 구조화된 표 이해 및 추론 분야에서 놀라운 발전을 이루었습니다. 하지만, 비전 거대 언어 모델(VLLM)을 사용한 비정형 표의 구조 및 내용 인식은 아직 미개척 분야로 남아있었습니다. 주저자 Yitong Zhou를 필두로 한 연구팀은 이러한 연구 격차를 해소하기 위해 훈련이 필요없는 추론 패러다임에서 VLLM을 활용하는 획기적인 연구를 진행했습니다.

저품질 이미지: 표 인식의 걸림돌

연구팀은 먼저 표 인식과 관련된 다양한 계층적 차원을 고려한 벤치마크를 설계하고, 사전 훈련된 VLLM을 사용하여 심층적인 평가를 수행했습니다. 그 결과, 놀랍게도 저품질 이미지 입력이 표 인식 성능의 가장 큰 병목 현상임을 발견했습니다. 이는 VLLM의 성능이 이미지 품질에 크게 의존한다는 것을 시사합니다.

이웃 안내 도구 체인 추론기(NGTR): 저품질 이미지 문제 해결의 실마리

연구팀은 이러한 문제점을 해결하기 위해, 이웃 안내 도구 체인 추론기(NGTR) 프레임워크를 제안했습니다. NGTR은 저품질 입력 이미지의 문제를 완화하기 위해 여러 경량 모델을 통합하여 저수준 시각 처리 작업을 수행합니다. 특히, 이웃 검색 메커니즘을 사용하여 여러 도구 호출 계획을 생성하고, 유사한 이웃으로부터 도구 선택 경험을 전이하여 적절한 도구 선택을 용이하게 합니다. 또한, 도구 호출 과정을 감독하는 반사 모듈을 도입하여 정확성을 높였습니다.

괄목할 만한 성능 향상과 미래 전망

공개된 표 인식 데이터셋을 이용한 광범위한 실험 결과, NGTR은 기존 VLLM의 인식 능력을 크게 향상시켰음을 확인했습니다. 연구팀이 제시한 벤치마크와 NGTR 프레임워크는 표 인식 분야에 새로운 가능성을 제시하며, 향후 VLLM 기반 표 인식 기술 발전에 크게 기여할 것으로 기대됩니다. 이는 단순히 표 인식을 넘어, 이미지 기반 데이터 추출 및 분석 기술의 발전에 중요한 이정표가 될 것으로 예상됩니다. 향후 연구에서는 NGTR의 다양한 응용 분야 및 더욱 향상된 성능 구현에 대한 연구가 지속될 것으로 예상됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Enhancing Table Recognition with Vision LLMs: A Benchmark and Neighbor-Guided Toolchain Reasoner

Published:  (Updated: )

Author: Yitong Zhou, Mingyue Cheng, Qingyang Mao, Qi Liu, Feiyang Xu, Xin Li, Enhong Chen

http://arxiv.org/abs/2412.20662v1