세마Eval-2025 과제 1 돌파: 생성형 LLM과 CLIP 모델의 만남

Thanet Markchom, Tong Wu, Liting Huang, Huizhi Liang 연구팀은 SemEval-2025 Task 1에서 생성형 LLM과 다국어 CLIP 모델을 결합한 새로운 접근법을 통해 다국어 다중 모드 관용구 표현의 정확도를 높였습니다. 대조 학습과 데이터 증강 기법을 활용하여 성능을 향상시켰으나, Fine-tuning의 효과는 예상과 다르게 나타났습니다. Github에서 소스 코드를 공개하여 오픈 사이언스를 실천했습니다.

Thanet Markchom, Tong Wu, Liting Huang, Huizhi Liang 연구팀이 SemEval-2025 Task 1에서 놀라운 결과를 발표했습니다. 영어와 브라질 포르투갈어에서 관용적인 의미를 지닐 수 있는 명사구에 대한 이미지 순위 매기기를 목표로 하는 이 과제에서, 연구팀은 생성형 거대 언어 모델(LLM) 과 다국어 CLIP 모델을 기반으로 한 혁신적인 접근 방식을 제시했습니다.

생성형 AI의 관용구 해석 능력: 의미의 새로운 지평

기존의 접근 방식에서는 명사구의 단순한 의미만을 사용했지만, 이 연구는 LLM을 활용하여 잠재적으로 관용적인 의미를 지닌 명사구에 대한 풍부한 의미 해석을 생성했습니다. 단순히 표면적인 의미를 넘어, LLM이 생성한 관용적인 의미는 명사구의 깊이 있는 이해를 가능하게 합니다. 마치 인간이 문맥을 파악하여 숨겨진 의미를 찾아내는 것과 유사한 방식입니다. 이를 통해 이미지와 명사구 간의 연관성을 더욱 정확하게 판단할 수 있습니다.

다국어 CLIP 모델: 이미지와 의미의 조화

LLM에 의해 생성된 풍부한 의미들은 다국어 CLIP 모델을 이용해 이미지와 연결됩니다. CLIP 모델은 이미지와 텍스트 간의 관계를 학습하도록 설계되어 있으며, 다국어 지원을 통해 영어와 브라질 포르투갈어 모두에 대한 효과적인 이미지-텍스트 매핑이 가능해집니다. 이는 다국어 환경에서 관용구의 의미를 정확하게 반영하는 핵심 요소입니다.

대조 학습과 데이터 증강: 정확도 향상의 비결

연구팀은 대조 학습과 데이터 증강 기법을 통해 CLIP 모델의 성능을 더욱 향상시켰습니다. 대조 학습은 유사한 이미지와 의미를 가까이, 상이한 이미지와 의미를 멀리 배치하여 모델의 학습 효율을 높이는 기법입니다. 데이터 증강은 학습 데이터의 다양성을 확보하여 모델의 일반화 능력을 향상시킵니다. 이러한 기법들은 이미지 순위 매기기의 정확도 향상에 크게 기여했습니다.

Fine-tuning의 효과: 예상치 못한 결과

흥미롭게도, Fine-tuning을 적용한 경우는 Fine-tuning을 하지 않은 경우보다 성능이 낮게 나타났습니다. 이는 Fine-tuning 전략의 적용에 대한 신중한 접근과 추가적인 연구의 필요성을 시사합니다. 연구팀은 이러한 결과를 통해 최적의 모델 구축 전략에 대한 중요한 통찰력을 얻었습니다.

Github 소스 코드 공개: 오픈 사이언스의 실천

본 연구에서 사용된 소스 코드는 https://github.com/tongwu17/SemEval-2025-Task1-UoR-NCL 에서 공개되어 있으며, 다른 연구자들의 연구를 위한 귀중한 자료가 될 것입니다.

이 연구는 생성형 LLM과 CLIP 모델의 뛰어난 성능을 보여주는 동시에, 다국어 및 다중 모드 처리에 대한 새로운 가능성을 제시합니다. 앞으로 이러한 기술의 발전은 자연어 처리 분야에 혁신적인 변화를 가져올 것으로 기대됩니다.