SynAlign: 거대 언어 모델 기반 합성 데이터 생성의 혁신

SynAlign은 가우시안 프로세스와 LLM을 활용하여 실제 데이터와의 분포 일치를 고려한 합성 데이터를 생성하는 프레임워크로, 여러 실험에서 성능 향상을 보였습니다.

최근 거대 언어 모델(LLM)의 발전으로 컨텍스트 학습과 소수 샷 언어 생성 능력이 비약적으로 향상되었습니다. 이는 LLM을 이용하여 소규모 모델(예: 온라인 검색 엔진 또는 성능이 낮은 LLM)의 성능을 향상시키는 고품질 합성 데이터를 생성하는 데 활용될 수 있습니다. 하지만 기존의 LLM 기반 합성 데이터 생성 방법은 현실 데이터와의 차이(스타일, 어조, 콘텐츠 비율 등)로 인해 성능 향상에 제약이 있었습니다. 합성 데이터를 현실 데이터와 직접 혼합하면 데이터 분포가 왜곡되어 오히려 성능 저하를 야기할 수 있습니다.

렌 지위안(Jiyuan Ren) 등 연구팀은 이러한 문제를 해결하기 위해 SynAlign이라는 새로운 프레임워크를 제시했습니다. SynAlign은 핵심 속성 분포 매칭을 기반으로 합성 데이터를 생성하고 필터링합니다. 핵심은 두 가지 전략에 있습니다.

첫째, 효율적인 다양성 탐색: SynAlign은 가우시안 프로세스 모델을 이용한 불확실성 추적기를 사용합니다. 이 추적기는 이미 선택된 데이터 클러스터와 다른 데이터 클러스터를 반복적으로 선택하여 새로운 데이터 합성을 위한 예시로 사용, 실제 데이터의 다양성을 효율적으로 탐색합니다. 이는 무작위적인 데이터 생성이 아닌, 실제 데이터의 다양한 특징을 고려한 전략적인 데이터 생성을 가능하게 합니다.

둘째, 언어적 특징 반영: LLM은 선택된 데이터의 언어적 특징(스타일, 어조 등)을 요약하고, 이를 기반으로 새로운 데이터를 합성합니다. 이는 단순히 문법적으로 정확한 문장을 생성하는 것을 넘어, 실제 데이터에서 관찰되는 다양한 언어적 특징을 가진 데이터를 생성하는 것을 의미합니다. 즉, 현실 데이터와 유사한 스타일과 어조를 가진 합성 데이터를 생성하는 것입니다.

데이터 생성 후에는 최대 평균 불일치(Maximum Mean Discrepancy, MMD)를 목적 함수로 사용하여 각 합성 데이터의 샘플링 가중치를 학습합니다. 이를 통해 합성 데이터의 분포가 실제 데이터와 일치하도록 보장합니다. 연구팀은 다양한 텍스트 예측 작업에서 SynAlign의 효과를 검증했으며, 온라인 검색 엔진에 대한 A/B 테스트를 통해 실제 환경에서의 효용성도 확인했습니다. SynAlign은 LLM 기반 합성 데이터 생성 분야에 새로운 가능성을 제시하며, 향후 다양한 응용 분야에서 활용될 것으로 기대됩니다.