CLIP의 한계를 넘어서: 모달리티 역전을 통한 성능 향상

이탈리아 피사대학교 연구진은 CLIP 모델의 인트라-모달 정렬 문제를 밝히고, 모달리티 역전 기술을 통해 성능을 향상시키는 방법을 제시했습니다. 인트라-모달 항을 추가하거나 모달리티 간격을 줄이는 등의 훈련 목표 개선을 통해 성능 향상을 이룰 수 있음을 보여주는 이 연구는 다중 모달 모델 발전에 크게 기여할 것으로 기대됩니다.

최근 널리 사용되는 CLIP(Contrastive Language–Image Pre-training)과 같은 사전 훈련된 다중 모달 비전-언어 모델은 다양한 응용 분야에서 활용되고 있습니다. 하지만 이러한 강력한 모델의 텍스트 또는 이미지 인코더를 개별적으로 활용하는 일반적인 방식은 이미지-이미지 검색과 같은 인트라-모달 작업에는 매우 비효율적이라는 사실이 이탈리아 피사대학교 연구진(Marco Mistretta, Alberto Baldrati, Lorenzo Agnolucci, Marco Bertini, Andrew D. Bagdanov)에 의해 밝혀졌습니다.

핵심 문제: 연구진은 CLIP 스타일의 인터-모달 대조 손실이 인트라-모달 제약 조건을 적용하지 않아, 이른바 '인트라-모달 정렬 불일치' 문제를 야기한다고 주장합니다. 이는 각 모달리티(시각, 언어) 내부의 표현들이 서로 잘 정렬되지 않아 성능 저하를 초래한다는 의미입니다.

해결책: 연구진은 이 문제를 해결하기 위해 보조 데이터나 추가로 훈련된 어댑터 없이 표현을 입력 모달리티에서 보완적인 모달리티로 매핑하는 두 가지 최적화 기반 모달리티 역전 기술을 활용했습니다. 15개 이상의 데이터 세트에서 이미지-이미지 및 텍스트-텍스트 검색과 같은 인트라-모달 작업에 인터-모달 방식을 적용하면 인트라-모달 기준선보다 성능이 크게 향상됨을 실험적으로 보여주었습니다. 더 나아가, 기존의 인터-모달 작업(예: 제로샷 이미지 분류)에 인트라-모달 방식을 적용하면 성능이 저하됨을 보여줌으로써 연구 결과의 타당성을 더욱 높였습니다.

미래 방향: 연구진은 사전 훈련 목표에 인트라-모달 항을 통합하거나 텍스트와 이미지 특징 임베딩 공간 간의 모달리티 간격을 좁히는 것이 인트라-모달 정렬 불일치를 줄이는 데 도움이 된다는 것을 보여주었습니다. 이 연구는 CLIP 모델의 한계를 극복하고 성능을 향상시키는 중요한 발견이며, 향후 다양한 다중 모달 모델의 성능 개선에 기여할 것으로 기대됩니다. GitHub (https://github.com/miccunifi/Cross-the-Gap)에서 코드를 공개하여 다른 연구자들의 활용을 지원하고 있습니다.

이 연구는 단순히 새로운 기술을 제시하는 것을 넘어, 기존 모델의 근본적인 한계를 밝히고 그 해결책을 제시함으로써 AI 분야의 발전에 크게 기여할 것으로 예상됩니다. 앞으로 이러한 연구 결과를 바탕으로 더욱 효율적이고 정확한 다중 모달 모델이 개발될 것으로 기대됩니다.