Florence-VL: 생성형 비전 인코더와 심층-폭융합으로 비전-언어 모델 강화


Florence-VL은 생성형 비전 모델 Florence-2와 Depth-Breath Fusion을 활용, 다양한 시각적 특징을 효과적으로 통합하여 기존 SOTA를 뛰어넘는 성능을 달성한 비전-언어 모델입니다. 모델과 훈련 레시피의 오픈소스 공개를 통해 향후 연구 발전에 크게 기여할 것으로 예상됩니다.

related iamge

Florence-VL: 시각적 이해의 새로운 지평을 열다

최근 몇 년간 비전-언어 모델(VLM) 분야는 눈부신 발전을 거듭해왔습니다. 그러나 기존 모델들은 시각 정보의 다양한 측면을 완벽하게 포착하지 못하는 한계를 가지고 있었습니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 Florence-VL입니다.

중국과학원 자동화연구소(CASIA) 의 연구진 Jiuhai Chen, Jianwei Yang 등이 개발한 Florence-VL은 기존 CLIP 스타일의 contrastive learning 방식과 달리, 생성형 비전 기반 모델 Florence-2를 활용하여 시각적 특징을 획기적으로 개선했습니다. Florence-2는 다양한 수준과 측면의 시각 정보를 포착하여, 다양한 downstream task에 유연하게 적용될 수 있도록 설계되었습니다.

특히, Depth-Breath Fusion (DBFusion) 이라는 혁신적인 feature-fusion architecture는 여러 깊이와 여러 prompt에서 추출된 시각적 특징을 효과적으로 통합합니다. 이를 통해 보다 풍부하고 정확한 시각적 이해를 가능하게 합니다.

연구진은 다양한 고품질 이미지 캡션과 instruction-tuning pairs를 포함하는 오픈소스 데이터셋을 사용하여 end-to-end pretraining과 finetuning을 수행했습니다. 그 결과, Florence-VL은 일반적인 VQA, 지각, 환각, OCR, 차트, 지식 집약적 이해 등 다양한 벤치마크에서 기존 최고 성능(SOTA)을 뛰어넘는 성과를 달성했습니다.

더욱 고무적인 것은, 연구진이 모델과 훈련 레시피를 모두 오픈소스로 공개했다는 점입니다. 이는 향후 비전-언어 모델 분야의 연구 발전에 크게 기여할 것으로 기대됩니다. Florence-VL의 등장은 시각적 이해의 새로운 지평을 열었으며, 앞으로 더욱 발전된 VLM의 개발을 위한 중요한 이정표가 될 것입니다. Florence-VL의 깃허브 저장소 (https://github.com/JiuhaiChen/Florence-VL)에서 자세한 정보를 확인할 수 있습니다.

결론적으로, Florence-VL은 생성형 비전 인코더와 DBFusion을 통해 비전-언어 모델의 성능을 크게 향상시킨 획기적인 연구 결과입니다. 오픈소스 공개를 통해 연구 커뮤니티에 활력을 불어넣을 것으로 예상됩니다. 이를 통해 우리는 더욱 발전된 인공지능 기술과 서비스를 기대할 수 있을 것입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion

Published:  (Updated: )

Author: Jiuhai Chen, Jianwei Yang, Haiping Wu, Dianqi Li, Jianfeng Gao, Tianyi Zhou, Bin Xiao

http://arxiv.org/abs/2412.04424v1