멀티모달 대규모 언어 모델의 한계를 넘어서: 미세립 시각 인식의 혁신

베이징대학교 연구팀이 개발한 Finedefics 모델은 객체의 속성 정보를 활용한 대조 학습을 통해 MLLM의 미세립 시각 인식(FGVR) 성능을 크게 향상시켰으며, 다양한 데이터셋에서 우수한 성능을 입증했습니다. 코드 공개를 통해 연구의 투명성과 재현성을 확보하여 AI 분야 발전에 기여할 것으로 기대됩니다.

최근 다중 모달 대규모 언어 모델(MLLM)이 눈부신 발전을 이루며 다양한 시각적 이해 과제에서 놀라운 능력을 선보이고 있습니다. 하지만 여전히 MLLM은 미세립 시각 인식(FGVR) 이라는 난관에 직면해 있습니다. FGVR은 이미지에서 하위 수준의 범주를 식별하는 것을 목표로 하는데, 이는 객체 중심 시각 질의응답 및 추론과 같은 MLLM의 고급 기능에 부정적인 영향을 미칠 수 있습니다.

베이징대학교 훌링샤오 허(Hulingxiao He) 연구팀은 이러한 문제에 대한 해결책을 제시하기 위해, MLLM의 FGVR 성능 향상에 초점을 맞춘 연구를 진행했습니다. 연구팀은 MLLM의 FGVR에서 객체 정보 추출, 범주 지식 보유, 객체-범주 정렬이라는 세 가지 핵심 역량을 분석하여, 그 핵심 문제가 바로 **'정렬 불일치'**에 있다는 것을 밝혀냈습니다.

연구팀은 이 문제를 해결하기 위해 Finedefics라는 새로운 MLLM을 개발했습니다. Finedefics는 객체의 정보 풍부한 속성 설명을 학습 과정에 통합함으로써 모델의 FGVR 능력을 강화합니다. 특히, 객체-속성 쌍과 속성-범주 쌍에 대한 대조 학습을 동시에 적용하고, 유사하지만 잘못된 범주에서 가져온 예시를 어려운 부정 예시로 활용하여 시각적 객체와 범주 이름의 표현을 더욱 가깝게 만드는 전략을 사용했습니다.

다양한 유명 FGVR 데이터셋을 이용한 광범위한 평가 결과, Finedefics는 동일한 파라미터 크기를 가진 기존 MLLM을 능가하는 놀라운 효능을 보여주었습니다. 더욱이 연구팀은 깃허브(https://github.com/PKU-ICST-MIPL/Finedefics_ICLR2025) 를 통해 코드를 공개하여 연구의 투명성과 재현성을 확보했습니다. 이는 AI 연구 발전에 크게 기여할 것으로 기대됩니다. Finedefics의 등장은 단순한 기술적 발전을 넘어, MLLM의 잠재력을 한층 더 확장시키고, 보다 정교하고 복잡한 시각적 이해 과제를 해결할 수 있는 가능성을 열어주는 획기적인 사건입니다.