혁신적인 정보검색 시스템 Syntriever: LLM의 잠재력을 깨우다

김민상, 백승준 연구팀이 개발한 Syntriever는 블랙박스 LLM을 활용한 혁신적인 정보 검색 시스템 학습 프레임워크입니다. 합성 데이터 생성 및 LLM 선호도 정렬을 통해 최첨단 성능을 달성했으며, 오픈소스로 공개되어 폭넓은 활용이 기대됩니다.

최근 급부상하는 대규모 언어 모델(LLM)은 인공지능 분야의 혁신을 주도하고 있습니다. 하지만 LLM의 방대한 지식을 정보 검색 시스템에 효과적으로 통합하는 것은 여전히 난제였습니다. 기존의 방법들은 주로 LLM의 출력 확률에 의존했는데, 최신 블랙박스 LLM에서는 이러한 정보를 얻기 어렵다는 한계가 있었습니다.

김민상, 백승준 연구팀은 이러한 문제를 해결하기 위해 Syntriever 라는 혁신적인 학습 프레임워크를 제안했습니다. Syntriever는 블랙박스 LLM로부터 합성 데이터를 생성하여 정보 검색 시스템을 학습시키는 독창적인 접근 방식을 사용합니다.

Syntriever는 크게 두 단계로 구성됩니다. 첫째, 증류 단계에서는 주어진 질문에 대해 관련 및 비관련 구절과 증강된 질문을 '사고의 연쇄(chain-of-thoughts)'를 이용하여 합성합니다. LLM은 자체적으로 이 합성 데이터를 검증하여 환각(hallucination) 가능성을 줄입니다. 그리고 관련 구절들의 임베딩이 밀집되도록 설계된 손실 함수를 사용하여 정보 검색 시스템을 학습시킵니다.

둘째, 정렬 단계에서는 정보 검색 시스템을 LLM의 선호도에 맞춰 조정합니다. 연구팀은 부분 Plackett-Luce 순위 모델이라는 새로운 선호도 모델링 기법을 제안하여 LLM의 선호도를 학습하고, 증류 단계에서 학습된 모델과의 과도한 차이를 방지하기 위한 정규화를 적용합니다.

다양한 분야의 벤치마크 데이터셋에서 실험한 결과, Syntriever는 nDCG@$K$ 지표에서 최첨단 성능을 달성했습니다. 더욱 놀라운 점은, Syntriever의 코드가 오픈소스로 공개되어 (https://github.com/kmswin1/Syntriever) 누구든 이 혁신적인 기술을 활용할 수 있다는 점입니다.

Syntriever는 LLM의 잠재력을 극대화하고 정보 검색 기술의 새로운 지평을 열 것으로 기대됩니다. 블랙박스 LLM 시대에 정보 검색 시스템의 성능을 향상시키는 데 중요한 이정표를 세운 이 연구는, 앞으로 AI 기반 정보 검색 기술 발전에 큰 영향을 미칠 것으로 예상됩니다. 🎉