이미지 먼저, 지시는 나중에: 비용 효율적인 AI 시각적 지시 조정의 혁신

PreSel은 이미지의 중요도를 사전에 평가하여 효율적으로 데이터를 선택하고, 15%의 이미지만으로도 우수한 성능을 보이는 혁신적인 VIT 데이터 선택 방법입니다. 비용과 시간을 절약하면서 고품질의 VIT를 가능하게 하는 기술입니다.

AI 시각 언어 모델 학습의 새로운 지평을 열다: PreSel

최근 대규모 시각-언어 모델(LLVM)의 시각적 지시 조정(VIT) 기술이 주목받고 있습니다. 하지만, VIT는 방대한 이미지-지시어 쌍 데이터셋을 필요로 하여, 학습 비용이 매우 높다는 문제점을 가지고 있었습니다. 기존의 데이터 선택 방법들은 고품질 데이터만을 선별하는 데 초점을 맞춰왔지만, 지시어 자체를 생성하는 데 드는 높은 비용이라는 중요한 문제점을 간과했습니다. 대부분의 VIT 데이터셋은 사람이 직접 지시어를 만들거나, GPT API와 같은 유료 서비스에 의존해 왔기 때문입니다.

이러한 문제를 해결하기 위해, Bardia Safaei 등 연구진이 Pre-Instruction Data Selection (PreSel) 이라는 혁신적인 방법을 제안했습니다. PreSel은 기존과 달리, 먼저 이미지의 중요도를 평가하여 가장 유용한 이미지를 먼저 선택한 후, 선택된 이미지에 대해서만 지시어를 생성합니다. 이는 지시어 생성 비용과 LVLM 미세 조정의 계산 비용을 크게 줄이는 획기적인 방법입니다.

PreSel은 다음과 같은 단계로 진행됩니다.

1. 각 시각적 작업의 상대적 중요도를 추정하여 작업별 샘플링 예산을 산출합니다. 즉, 어떤 유형의 이미지가 VIT 학습에 더 중요한지 파악하는 것입니다.
2. 각 작업 내에서 이미지 특징을 클러스터링하여 가장 대표적인 이미지를 예산 내에서 선택합니다. 중복되거나 비슷한 이미지는 제거하여 효율성을 높입니다.

연구 결과, PreSel은 이미지의 15%만을 사용하여 LLaVA-1.5와 Vision-Flan 데이터셋에서 전체 데이터를 사용한 VIT와 비슷한 성능을 달성했습니다. 이는 비용 효율성을 극대화하면서, 성능 저하 없이 VIT를 수행할 수 있음을 의미합니다. PreSel은 제한된 자원을 가진 사용자들에게도 맞춤형 VIT 데이터셋을 생성할 수 있는 기회를 제공하며, AI 시각 언어 모델 연구의 새로운 장을 열 것으로 기대됩니다. 자세한 내용은 프로젝트 페이지 (https://bardisafa.github.io/PreSel)를 참조하십시오.