숨겨진 보물, PDF: 일본어 대규모 다중 모달 모델의 혁신을 이끌다

백정훈, 아이자와 아키코, 아이자와 기요하루 연구팀은 일본어 대규모 다중 모달 모델(LMM)의 성능 향상을 위해 PDF 데이터를 활용하는 새로운 방법을 제시했습니다. 자동화된 파이프라인을 통해 PDF에서 이미지-텍스트 쌍을 추출하고, Heron-Bench에서 3.9%~13.8%의 성능 향상을 달성했습니다. 이 연구는 소스 코드와 데이터 공개를 통해 다른 연구에도 기여할 것으로 기대됩니다.

최근 영어 기반의 대규모 다중 모달 모델(LMM)이 눈부신 성과를 거두고 있지만, 일본어 LMM은 고품질 학습 데이터 부족으로 성능 향상에 어려움을 겪고 있습니다. 기존 일본어 LMM은 영어 데이터셋 번역에 의존하는 경우가 많아 일본 특유의 문화적 지식을 제대로 반영하지 못하는 한계를 가지고 있었습니다.

백정훈, 아이자와 아키코, 아이자와 기요하루 연구팀은 이러한 문제 해결을 위해 눈에 띄지 않는 곳에 숨겨진 풍부한 자원, 바로 PDF 데이터에 주목했습니다. 연구팀은 전적으로 자동화된 파이프라인을 구축하여, 사전 학습된 모델을 이용, 레이아웃 분석, OCR, 비전-언어 쌍 생성을 통해 PDF에서 이미지-텍스트 쌍을 추출하는 데 성공했습니다. 수동 주석 작업이 필요 없다는 점이 특히 주목할 만합니다. 더 나아가, 추출된 이미지-텍스트 쌍으로부터 지시 데이터를 구성하여 학습 데이터를 풍부하게 만들었습니다.

이렇게 얻어진 PDF 기반 데이터의 효과를 검증하기 위해, 연구팀은 일본어 LMM을 학습시키고 일본어 LMM 벤치마크인 Heron-Bench를 사용하여 성능을 평가했습니다. 그 결과, Heron-Bench에서 3.9%~13.8%의 상당한 성능 향상을 달성했습니다. 모델 크기나 언어 모델에 따라 성능 향상 정도가 다르다는 점을 추가적으로 분석하여, PDF 기반 데이터의 다중 모달 자원으로서의 가치를 더욱 강조했습니다.

연구팀은 논문이 채택되면 소스 코드와 데이터를 공개할 예정입니다. 이 연구는 일본어 LMM 발전에 새로운 이정표를 제시하며, 다른 언어의 LMM 개발에도 시사하는 바가 큽니다. 숨겨진 데이터의 가치를 발굴하고, 효율적인 자동화 파이프라인을 통해 고품질 학습 데이터를 구축하는 연구팀의 노력은 앞으로 AI 기술 발전에 큰 영향을 미칠 것으로 기대됩니다. PDF라는 흔히 접하는 자료가 AI 기술 발전의 핵심 요소가 될 수 있다는 점은 우리에게 새로운 시각을 제공합니다.