SALAD: 구조 인식 및 LLM 기반 데이터 증강으로 강건하고 일반화된 AI 모델 구축

배수영, 김효준, 최윤석, 이제형 연구원팀이 개발한 SALAD는 PLM의 미세조정 과정에서 발생하는 허위 상관관계 문제를 해결하기 위해 구조 인식과 LLM 기반의 데이터 증강 기법을 활용합니다. 대조 학습을 통해 모델의 견고성과 일반화 능력을 향상시키며, 감정 분류, 성차별 감지, 자연어 추론 등 다양한 NLP 과제에서 우수한 성능을 보였습니다.

AI의 허점을 메우는 혁신: SALAD의 등장

자연어 처리(NLP) 분야에서 사전 훈련된 언어 모델(PLM)의 미세 조정은 괄목할 만한 성과를 거두었지만, '허위 상관관계'라는 치명적인 약점을 가지고 있습니다. 예측 성능에 악영향을 미치는 이 문제는 특히 분포 외 데이터를 다룰 때 더욱 심각해집니다. 배수영, 김효준, 최윤석, 이제형 연구원 팀은 이러한 문제를 해결하기 위해 SALAD(Structure-Aware and LLM-driven Augmented Data) 라는 혁신적인 방법을 제시했습니다.

SALAD: 구조를 이해하고, 허위 상관관계를 극복하다

SALAD는 구조 인식 및 대조 학습 기반의 데이터 증강을 통해 모델의 견고성과 일반화 능력을 향상시킵니다. 핵심은 '구조 인식'과 '대조 학습' 그리고 'LLM(대규모 언어 모델)의 활용'에 있습니다. 연구팀은 태깅 기반 접근 방식을 통해 구조적으로 의미있는 긍정적 샘플을 생성하고, LLM을 활용하여 다양한 문장 패턴을 가진 반사실적 부정적 샘플을 생성합니다.

이렇게 생성된 데이터를 대조 학습에 적용하여 모델이 주요 문장 구성 요소 간의 구조적 관계에 집중하도록 유도하고, 허위 상관관계에 대한 의존도를 최소화합니다. 이는 마치 AI에게 문장의 뼈대를 이해시키고, 겉모습에 현혹되지 않고 본질을 파악하도록 훈련시키는 것과 같습니다.

실험 결과: 압도적인 성능 향상

연구팀은 감정 분류, 성차별 감지, 자연어 추론 등 세 가지 NLP 과제에 SALAD를 적용하여 성능을 검증했습니다. 그 결과, SALAD는 다양한 환경에서 모델의 견고성과 성능을 향상시킬 뿐만 아니라, 분포 외 데이터 및 도메인 간 일반화 능력까지 크게 향상시키는 것을 확인했습니다. 이는 SALAD가 단순한 성능 개선을 넘어, AI 모델의 근본적인 한계를 극복하는 데 기여할 수 있음을 보여주는 중요한 결과입니다.

미래를 향한 발걸음: 더욱 강건하고 지능적인 AI를 향하여

SALAD는 단순한 기술적 발전을 넘어, AI의 신뢰성과 안정성에 대한 중요한 함의를 지닙니다. 허위 상관관계에 대한 의존성을 줄임으로써, AI 모델이 더욱 견고하고 일반화된 성능을 보여주게 되었다는 점은 주목할 만합니다. 이 연구는 더욱 강건하고, 다양한 상황에 적응할 수 있는 지능적인 AI 시스템 개발을 위한 중요한 이정표가 될 것입니다. 앞으로 SALAD가 어떻게 발전하고, 다양한 분야에 적용될지 기대됩니다.