선택 후 생성: 시각적 지시 조정을 위한 새로운 데이터 선택 패러다임, PreSel

PreSel은 비용 효율적인 시각적 지시 조정(VIT) 데이터 선택 방법으로, 이미지 특징 클러스터링과 작업별 샘플링을 통해 소량의 데이터만으로도 높은 성능을 달성합니다. 기존의 고비용 데이터 생성 과정을 혁신적으로 개선하여 자원 제약이 있는 사용자들에게도 VIT 기술 접근성을 높였습니다.

비용 절감과 효율성 증대: PreSel이 제시하는 혁신적인 접근 방식

대규모 비전-언어 모델(LLVM)의 시각적 지시 조정(VIT)은 방대한 이미지-지시어 쌍 데이터셋을 필요로 합니다. 하지만 이러한 데이터셋을 구축하는 데는 막대한 비용이 소요됩니다. 기존의 VIT 데이터 선택 연구는 고품질 이미지-지시어 쌍의 작은 부분집합을 선택하여 연산 비용을 줄이려는 노력을 기울였습니다. 그러나 대부분의 기존 연구는 중요한 한계점을 간과했습니다. 바로 비표시 이미지에서 지시어를 생성하는 작업의 높은 비용입니다. 인간의 수동 주석이나 GPT API와 같은 유료 서비스에 크게 의존하는 것이죠.

바르디아 사파이(Bardia Safaei)를 비롯한 연구팀은 이러한 문제를 해결하기 위해 새로운 데이터 선택 패러다임인 PreSel(Pre-Instruction Data Selection) 을 제안했습니다. PreSel은 비표시 이미지 중 가장 유용한 이미지를 직접 선택하고, 선택된 이미지에 대해서만 지시어를 생성합니다. 이를 통해 지시어 생성과 LLVM 미세 조정에 드는 연산 비용을 크게 줄입니다.

PreSel의 핵심은 두 가지 전략에 있습니다. 먼저, 각 시각적 작업의 상대적 중요도를 추정하여 작업별 샘플링 예산을 산출합니다. 그런 다음, 각 작업 내에서 이미지 특징을 클러스터링하고, 예산 내에서 가장 대표적인 이미지를 선택합니다. 단 15%의 이미지에 대해서만 지시어를 생성하는 것으로, LLaVA-1.5 및 Vision-Flan 데이터셋에서 전체 데이터 VIT와 비교할 만한 성능을 달성했습니다.

이는 기존 방식에 비해 혁신적인 변화입니다. 고비용의 데이터 생성 과정을 최소화하면서도 높은 성능을 유지한다는 점에서 큰 의미를 가집니다. 특히, 자원이 제한된 사용자들에게는 맞춤형 VIT 데이터셋을 생성할 수 있는 실용적인 해결책을 제시한다는 점에서 더욱 주목할 만합니다. 연구팀이 공개한 프로젝트 페이지 (https://bardisafa.github.io/PreSel)에서 자세한 정보를 확인할 수 있습니다.

PreSel은 VIT 분야의 효율성을 획기적으로 높이는 기술로, 앞으로 다양한 응용 분야에서 활용될 가능성이 높습니다. 이 연구는 비용과 시간의 제약으로 인해 VIT 기술의 활용이 제한되었던 연구자들에게 새로운 가능성을 열어 줄 것으로 기대됩니다.