OpenSearch-SQL: 동적 퓨샷 학습과 일관성 정렬로 Text-to-SQL 성능 혁신

Xie Xiangjin 등 연구진은 멀티 에이전트 협업 LLM 기반 Text-to-SQL 시스템의 한계를 극복하기 위해 OpenSearch-SQL을 제안했습니다. 4개의 모듈과 일관성 정렬 메커니즘, SQL-Like 중간 언어, 동적 퓨샷 전략을 통해 높은 정확도를 달성했으며, 사전 훈련 없이 기본 LLM을 사용하여 이식성을 높였습니다. BIRD 데이터셋에서 최고 성능을 기록하며 Text-to-SQL 분야의 새로운 가능성을 제시했습니다.

자연어를 SQL 쿼리로 변환하는 Text-to-SQL 과제는 인공지능 분야의 중요한 연구 주제입니다. 최근 멀티 에이전트 협업 대규모 언어 모델(LLM)이 눈부신 발전을 이루었지만, 여전히 프레임워크의 불완전성, 지시사항 미준수, 모델 환각 등의 문제에 직면하고 있습니다.

Xie Xiangjin 등 연구진이 제시한 OpenSearch-SQL은 이러한 문제를 해결하기 위한 혁신적인 접근법입니다. OpenSearch-SQL은 Text-to-SQL 과제를 전처리, 추출, 생성, 개선의 네 가지 주요 모듈로 나누고, 일관성 정렬 메커니즘에 기반한 정렬 모듈을 추가하여 에이전트의 입력과 출력을 정렬합니다. 이를 통해 지시사항 미준수 및 환각 문제를 줄이고, 보다 정확한 SQL 쿼리 생성을 가능하게 합니다.

더 나아가, 연구진은 SQL-Like라는 중간 언어를 개발하고, 이를 기반으로 구조화된 CoT(Chain of Thought)를 최적화했습니다. 또한, 자기 주도형 쿼리-CoT-SQL 형태의 동적 퓨샷 전략을 도입하여 LLM의 학습 효율을 크게 향상시켰습니다. 흥미로운 점은, 사전 훈련 없이 기본 LLM을 직접 사용함으로써, 과제 체인을 단순화하고 프레임워크의 이식성을 높였다는 것입니다.

실험 결과는 OpenSearch-SQL의 우수성을 명확하게 보여줍니다. BIRD 개발 세트에서 69.3%, 테스트 세트에서 72.28%의 실행 정확도(EX)를 달성했고, 보상 기반 유효성 효율 점수(R-VES)는 69.36%에 달했습니다. 이는 제출 당시 모든 지표에서 1위에 해당하는 놀라운 성과입니다. 이러한 결과는 OpenSearch-SQL이 효율성과 효과성 측면에서 모두 탁월한 성능을 제공함을 입증합니다.

OpenSearch-SQL은 단순히 Text-to-SQL 성능 향상에 그치지 않고, LLM 기반 시스템 설계에 대한 새로운 패러다임을 제시합니다. 향후 연구에서는 더욱 다양한 데이터셋과 복잡한 쿼리에 대한 OpenSearch-SQL의 성능을 평가하고, 실제 응용 분야에 적용하는 연구가 필요할 것입니다. 이 연구는 AI 기반 데이터베이스 질의 시스템의 발전에 크게 기여할 것으로 기대됩니다.