혁신적인 AI 시각 인식 기술: 대조적 시각 데이터 증강(CoDA)의 등장

본 기사는 대규모 다중 모달 모델(LMM)의 시각 인식 능력 향상을 위한 혁신적인 기술인 대조적 시각 데이터 증강(CoDA) 전략에 대한 최신 연구 결과를 소개합니다. CoDA는 다양한 데이터셋에서 기존 기술 대비 괄목할 만한 성능 향상을 보였으며, 앞으로 AI 시각 인식 기술 발전에 크게 기여할 것으로 예상됩니다.

최근 주목받는 거대 다중 모달 모델(LMM)은 사전 훈련된 지식에 의존하며, 미묘한 시각적 세부 사항을 포착하는 데 어려움을 겪습니다. 특히 도메인 특이적 지식의 부족은 시각적으로 유사하거나 흔히 오인되는 개념, 또는 데이터가 부족한 개념을 구분하는 데 어려움을 야기합니다. 중국과 대만의 연구진(Yu Zhou, Bingxuan Li 외)은 이러한 LMM의 한계를 극복하기 위해 대조적 시각 데이터 증강 (Contrastive Visual Data Augmentation, CoDA) 전략을 제시했습니다.

CoDA는 기존 모델이 오인하는 개념과의 대조를 통해 목표 개념의 핵심적인 텍스트 및 시각적 특징을 추출합니다. 이후 다중 모달 생성 모델을 활용하여 목표 지향적인 합성 데이터를 생성합니다. 추출된 특징과 증강된 이미지의 품질을 보장하기 위해 인간 전문가의 검증을 거치는 자동 필터링 과정을 거치는 것이 특징입니다.

연구팀은 iNaturalist와 SUN과 같은 저자원 개념 및 다양한 장면 인식 데이터 세트에서 CoDA의 효과와 효율성을 입증했습니다. 뿐만 아니라, LMM이 전혀 접해보지 못한 새롭게 발견된 동물 종으로 구성된 NovelSpecies라는 새로운 벤치마크 데이터 세트를 제작하여 실험에 활용했습니다. LLaVA-1.6 모델을 이용한 1-shot 업데이트 결과, CoDA는 기존 최첨단 시각 데이터 증강 전략에 비해 정확도를 크게 향상시켰습니다. NovelSpecies 데이터셋에서는 12.3%, SUN 데이터셋에서는 5.1%, iNaturalist 데이터셋에서는 6.0%의 절대적 정확도 향상을 기록했습니다.

이는 LMM의 시각 인식 능력 향상에 있어서 CoDA의 잠재력을 보여주는 중요한 결과입니다. 향후 CoDA는 다양한 분야에서 새로운 개념 및 희귀 개념의 인식 및 추론 능력을 향상시키는 데 기여할 것으로 기대됩니다. 특히 자연어 처리와 컴퓨터 비전의 결합을 통해 더욱 정교한 AI 시스템 개발에 중요한 역할을 수행할 것으로 예상됩니다. 하지만, 대량의 데이터와 계산 자원이 필요하다는 점과 인간 전문가의 검증 과정이 필요하다는 점은 향후 연구에서 해결해야 할 과제입니다.