웹 검색으로 키운 AI: VisualWebInstruct가 열어젖히는 추론의 새 지평

본 기사는 Jia Yiming 등 연구진이 개발한 VisualWebInstruct 데이터셋에 대한 내용을 다룹니다. 웹 검색을 통해 구축된 이 데이터셋은 시각-언어 모델의 추론 능력 향상에 괄목할 만한 성과를 보였으며, AI 분야의 새로운 가능성을 제시합니다.

최근 시각-언어 모델(Vision-Language Models)의 발전이 눈부시지만, 복잡한 추론 능력 향상에는 여전히 한계가 있었습니다. 고품질의 다양한 훈련 데이터 부족이 주된 원인이었죠. 하지만 이러한 한계를 극복할 획기적인 연구 결과가 등장했습니다! Jia Yiming 등 연구진이 발표한 논문 "VisualWebInstruct: Scaling up Multimodal Instruction Data through Web Search"는 웹 검색을 활용하여 대규모 다중 모달 지시 데이터셋을 구축하는 혁신적인 방법을 제시합니다.

70만 개 이상의 웹사이트에서 얻은 90만 개의 질의응답 쌍

연구진은 3만 개의 이미지를 시드로 활용, 구글 이미지 검색을 통해 유사 이미지가 포함된 웹사이트를 찾아 70만 개 이상의 고유 URL에서 HTML 데이터를 수집했습니다. 이 데이터를 정교한 파이프라인을 통해 추출, 필터링, 합성하여 약 90만 개의 질의응답(QA) 쌍을 가진 데이터셋 VisualWebInstruct을 완성했습니다. 흥미로운 점은, 이 중 40%가 시각적 QA 쌍이고 나머지는 텍스트 기반 QA 쌍이라는 것입니다.

10~20점의 성능 향상: 놀라운 결과

VisualWebInstruct로 미세 조정된 모델들은 놀라운 성능 향상을 보였습니다. LLaVA-OV 모델의 경우 벤치마크에서 10~20점의 절대적인 성능 향상을, MAmmoTH-VL 모델은 5점의 성능 향상을 기록했습니다. 특히, 연구진이 개발한 최고 성능 모델인 MAmmoTH-VL2는 매개변수 100억 개 규모에서 MMMU-Pro(40.7점), MathVerse(42.6점), DynaMath(55.7점) 등의 벤치마크에서 최첨단 성능을 달성했습니다. 이는 수학, 물리학, 금융, 화학 등 다양한 분야를 아우르는 VisualWebInstruct 데이터셋의 우수성을 명확히 보여줍니다.

새로운 가능성을 제시하는 VisualWebInstruct

VisualWebInstruct는 단순히 대규모 데이터셋을 제공하는 것을 넘어, 웹 검색을 활용한 데이터 확보라는 새로운 패러다임을 제시합니다. 이러한 접근 방식은 데이터 부족 문제에 직면하는 다양한 AI 연구 분야에 큰 영향을 미칠 것으로 예상됩니다. 앞으로 VisualWebInstruct를 기반으로 더욱 발전된 시각-언어 모델들이 등장하고, 인간의 추론 능력에 더욱 가까워지는 AI 시대를 기대해 볼 수 있겠습니다. 📈