혁신적인 프롬프트 학습: 최적 전달(OT)이 가져온 놀라운 발전

중국과학원과 미국 워싱턴 대학교 공동 연구진이 최적 전달(OT) 기반의 새로운 프롬프트 학습 프레임워크 Prompt-OT를 개발했습니다. 기존 프롬프트 학습의 한계를 극복하고, 다양한 벤치마크 데이터셋에서 뛰어난 성능을 보여주는 이 연구는 AI 분야의 발전에 크게 기여할 것으로 기대됩니다.

CLIP과 같은 비전-언어 모델(VLMs)은 뛰어난 성능을 보이지만, 하위 작업에 적용될 때 어려움을 겪습니다. 프롬프트 학습은 사전 훈련된 지식을 유지하면서 VLMs를 효율적이고 효과적으로 적응시키는 전략으로 떠올랐습니다. 하지만 기존 방법들은 여전히 과적합 문제와 제로샷 일반화 성능 저하에 직면해 있습니다.

중국과학원, 미국 워싱턴 대학교 공동 연구진은 이러한 한계를 극복하기 위해 최적 전달(Optimal Transport, OT)을 기반으로 한 새로운 프롬프트 학습 프레임워크, Prompt-OT를 제안했습니다. Prompt-OT는 사전 훈련된 모델과 미세 조정된 모델 간의 특징 분포의 구조적 일관성을 유지함으로써 '망각' 현상을 완화합니다. 기존의 점별 제약과 달리, OT는 인스턴스 간 관계를 자연스럽게 포착하여 프롬프트 조정을 위한 가능한 매개변수 공간을 확장합니다. 이를 통해 적응과 일반화 사이의 최적의 균형을 이룰 수 있습니다. 또한, 비전 및 텍스트 표현 모두에 대한 공동 제약 조건을 적용하여 전체적인 특징 정렬을 보장합니다.

연구진은 벤치마크 데이터셋에서 광범위한 실험을 통해 Prompt-OT가 추가적인 증강이나 앙상블 기법 없이도 기존 프롬프트 학습 전략보다 우수한 성능을 보임을 입증했습니다. 특히, 기본 작업에서 새로운 작업으로의 일반화, 교차 데이터셋 평가, 도메인 일반화에서 탁월한 결과를 얻었습니다. GitHub(https://github.com/ChongQingNoSubway/Prompt-OT)에서 코드를 확인할 수 있습니다.

결론적으로, Prompt-OT는 최적 전달 기법을 통해 프롬프트 학습의 한계를 극복하고, VLMs의 적응 및 일반화 성능을 향상시키는 획기적인 연구입니다. 이 연구는 향후 VLMs의 다양한 응용 분야에 큰 영향을 미칠 것으로 기대됩니다. 특히, 제한된 데이터 환경에서의 모델 적응 및 일반화 성능 향상에 중요한 역할을 할 것으로 예상됩니다. 앞으로 OT 기반의 프롬프트 학습에 대한 더 많은 연구가 진행될 것으로 예상되며, 이는 AI 분야의 발전에 크게 기여할 것입니다.

Xiwen Chen, Wenhui Zhu, Peijie Qiu, Hao Wang, Huayu Li, Haiyu Wu, Aristeidis Sotiras, Yalin Wang, Abolfazl Razi 등이 참여한 이번 연구는 AI 분야의 혁신적인 발전을 보여주는 중요한 사례입니다. 💯