SigLIP 2: 다국어 이해력과 시각적 표현 능력을 끌어올린 차세대 비전-언어 모델

SigLIP 2는 기존 SigLIP을 개선한 다국어 비전-언어 인코더로, 캡션 기반 사전 훈련, 자기 지도 학습 등을 통합하여 제로샷 분류, 이미지-텍스트 검색 등 다양한 과제에서 성능 향상을 이루었습니다. 다양한 해상도 지원, 원본 종횡비 유지, 다국어 이해력 및 공정성 향상 등의 특징을 가지고 있으며, ViT-B, L, So400m, g 등 다양한 크기의 모델을 제공합니다.

SigLIP 2: 한층 진화된 다국어 비전-언어 모델의 탄생

최근 마이크로소프트, 구글 등 주요 연구 기관들의 활발한 연구개발로 비전-언어 모델(Vision-Language Model, VLM) 분야가 급속도로 발전하고 있습니다. 이러한 흐름 속에서 마이크로소프트 연구팀은 기존 SigLIP 모델의 한계를 뛰어넘는 SigLIP 2를 발표하며 업계의 이목을 집중시켰습니다. Michael Tschannen을 비롯한 14명의 연구진이 참여한 이 연구는 단순한 성능 향상을 넘어, 다국어 이해와 시각적 표현 능력을 근본적으로 개선하는 데 초점을 맞추고 있습니다.

SigLIP 2의 핵심 개선 사항: 통합적 접근과 다양성 확보

SigLIP 2는 기존 SigLIP의 강점을 유지하면서, 캡션 기반 사전 훈련, 자기 지도 학습(자기 증류, 마스크 예측), 온라인 데이터 관리 등 여러 기술을 하나로 통합했습니다. 이러한 통합적인 접근 방식은 다양한 과제에서 괄목할 만한 성능 향상으로 이어졌습니다. 특히, 제로샷 분류, 이미지-텍스트 검색, VLM을 위한 시각적 표현 추출 등 핵심 기능에서 눈에 띄는 성과를 거두었습니다.

더 나아가, SigLIP 2는 국소화 및 밀집 예측 작업에서도 괄목할 만한 성능 향상을 보였습니다. 다양한 해상도를 지원하고 입력 이미지의 원래 종횡비를 유지하는 기능도 추가되어 활용성을 높였습니다. 또한, 편향 감소 기술을 포함한 다양한 데이터 믹스를 통해 다국어 이해력과 공정성을 크게 개선했습니다.

다양한 모델 크기 제공: 사용자 맞춤형 선택의 자유

SigLIP 2는 사용자의 선택지를 넓히기 위해 ViT-B (86M), L (303M), So400m (400M), g (1B) 네 가지 크기의 모델을 제공합니다. 이를 통해 사용자는 추론 비용과 성능 간의 균형을 효과적으로 맞출 수 있습니다.

결론: 미래 비전-언어 모델의 새로운 기준

SigLIP 2는 단순한 기술적 개선을 넘어, 다국어 이해, 시각적 표현 능력, 공정성 등 다양한 측면에서 비전-언어 모델의 새로운 기준을 제시합니다. 앞으로 SigLIP 2가 다양한 응용 분야에서 활용되면서 인공지능 기술 발전에 크게 기여할 것으로 기대됩니다. 이 연구는 다국어 지원이 필요한 이미지 기반 애플리케이션 개발에 중요한 전기를 마련했으며, 향후 더욱 발전된 모델의 등장을 예고하고 있습니다.