캡션에 사로잡히다: CLIP 모델의 메모라이제이션과 그 완화

본 연구는 CLIP 모델의 메모라이제이션 현상을 정량적으로 분석하고, 메모라이제이션을 줄이면서 유용성을 높이는 새로운 전략을 제시합니다. 특히 텍스트 인코더의 중요성을 강조하며, 기존 패러다임을 뛰어넘는 중요한 발견으로 평가됩니다.

CLIP과 같은 다중 모달 모델은 이미지 검색 및 제로샷 분류와 같은 작업에서 뛰어난 성능을 보여주며 시각적 및 텍스트 표현을 정렬하는 데 강력한 능력을 입증했습니다. 하지만 이러한 모델이 훈련 데이터를 활용하는 메커니즘, 특히 메모라이제이션의 역할은 아직 명확하게 밝혀지지 않았습니다.

단일 모달 모델에서는 지도 학습과 자가 지도 학습 모두에서 메모라이제이션이 일반화에 필수적인 것으로 나타났습니다. 그러나 레이블과 유사한 감독 신호를 제공하는 캡션을 통한 지도 학습과 대조 목적 함수를 통한 자가 지도 학습의 요소를 모두 포함하는 CLIP에 이러한 발견이 어떻게 적용될지는 잘 알려져 있지 않았습니다.

이러한 이해의 차이를 해소하기 위해, Wang 등(2025)은 CLIP에서 메모라이제이션에 대한 공식적인 정의(CLIPMem)를 제시하고 이를 사용하여 CLIP 모델의 메모라이제이션을 정량화했습니다. 연구 결과, CLIP의 메모라이제이션 동작은 지도 학습과 자가 지도 학습 패러다임의 중간에 위치하며, '잘못된 캡션'이 붙은 샘플이 가장 높은 수준의 메모라이제이션을 보이는 것으로 나타났습니다. 흥미롭게도, 텍스트 인코더가 이미지 인코더보다 메모라이제이션에 더 크게 기여하는 것으로 밝혀졌는데, 이는 완화 전략이 텍스트 영역에 집중되어야 함을 시사합니다.

더 나아가, 연구진은 메모라이제이션을 줄이면서 동시에 유용성을 향상시키는 여러 전략을 제안했습니다. 이는 기존 학습 패러다임에서는 메모라이제이션 감소가 일반적으로 유용성 감소로 이어지는 것과 대조되는 중요한 발견입니다. 이는 CLIP 모델의 성능 향상과 안정성 확보에 중요한 돌파구를 마련한 것으로 평가됩니다. 향후 연구에서는 이러한 전략의 일반화 가능성과 다양한 다중 모달 모델에 대한 적용 가능성을 탐구하는 것이 중요할 것입니다.

주요 결과:

• CLIPMem: CLIP 모델의 메모라이제이션을 정량화하는 새로운 정의 제시
• 잘못된 캡션이 붙은 샘플에서 가장 높은 메모라이제이션 발생
• 텍스트 인코더가 이미지 인코더보다 메모라이제이션에 더 크게 기여
• 메모라이제이션 감소와 유용성 향상을 동시에 달성하는 전략 개발 성공