혁신적인 정보 검색 시스템 Syntriever: LLM의 힘을 빌려 최고 성능 달성!

김민상, 백승준 연구원이 개발한 Syntriever는 블랙박스 LLM을 활용하여 합성 데이터로 정보 검색 시스템을 훈련하는 혁신적인 방법론입니다. 두 단계의 훈련 과정을 통해 최첨단 성능을 달성하였으며, 코드 또한 공개되어 접근성이 높습니다. 이 연구는 LLM 기반 AI 기술의 발전에 크게 기여할 것으로 예상됩니다.

Syntriever: LLM로 훈련하는 새로운 정보 검색 시스템

최근 인공지능 분야에서 대규모 언어 모델(LLM)의 발전이 눈부시다. 김민상, 백승준 연구원은 LLM의 방대한 지식을 정보 검색 시스템에 효과적으로 적용하는 획기적인 방법인 Syntriever를 개발했습니다. 기존의 방법들은 LLM의 출력 확률에 의존했지만, 최신 블랙박스 LLM에서는 이러한 정보를 얻을 수 없다는 한계가 있었습니다. Syntriever는 이러한 한계를 극복하여 블랙박스 LLM에서 합성 데이터를 생성하여 검색 시스템을 훈련하는 새로운 패러다임을 제시합니다.

Syntriever는 크게 두 단계로 구성됩니다. 첫 번째 단계인 증류 단계에서는 Chain-of-Thought 기법을 이용하여 질의에 대한 관련 및 비관련 구절과 증강된 질의를 합성합니다. LLM은 이렇게 생성된 데이터에 대해 환각(hallucination) 가능성을 자체적으로 검증하는데, 이는 LLM이 스스로 생성한 데이터의 신뢰성을 평가하는 흥미로운 부분입니다. 검증된 데이터를 바탕으로, 관련 구절의 임베딩을 클러스터링하는 손실 함수를 사용하여 정보 검색 시스템을 훈련합니다.

두 번째 단계인 정렬 단계에서는 부분 Plackett-Luce 순위 모델링이라는 새로운 방법을 도입하여 LLM의 선호도를 학습합니다. 이는 증류 단계에서 훈련된 모델에서 과도하게 벗어나는 것을 방지하는 정규화 기법을 포함합니다. 즉, LLM의 선호도에 맞춰 검색 시스템을 미세조정하는 과정입니다.

실험 결과, Syntriever는 다양한 분야의 벤치마크 데이터셋에서 nDCG@$K$ 지표에서 최첨단 성능을 달성했습니다. 이는 Syntriever의 효율성과 우수성을 명확하게 보여줍니다. 더욱 놀라운 사실은, 이 연구의 모든 코드가 Github (https://github.com/kmswin1/Syntriever) 에서 공개되어 누구나 활용할 수 있다는 점입니다.

결론적으로, Syntriever는 LLM의 잠재력을 극대화하여 정보 검색 시스템의 성능을 한 단계 끌어올린 획기적인 연구입니다. 블랙박스 LLM 시대에 새로운 가능성을 제시하며, 앞으로 정보 검색 기술의 발전에 큰 영향을 미칠 것으로 기대됩니다. 이 연구는 LLM을 활용한 다양한 AI 응용 분야에 새로운 가능성을 제시할 뿐만 아니라, 학계와 산업계 모두에 중요한 의미를 가집니다. 합성 데이터를 활용한 훈련 기법은 다른 AI 분야에도 적용될 수 있으며, 앞으로 더욱 발전된 연구를 기대해 볼 수 있습니다.