TreeHop: 멀티홉 질의응답을 위한 효율적인 차세대 쿼리 임베딩 생성 및 필터링 프레임워크

중국과학원 자동화연구소 연구팀이 개발한 TreeHop은 LLM 의존도를 낮추고 임베딩 기반의 동적 쿼리 업데이트를 통해 멀티홉 질의응답의 효율성을 극대적했습니다. 세 개의 오픈 도메인 MHQA 데이터셋에서 최첨단 RAG 방식과 비교해도 뛰어난 성능을 보이며, 모델 크기와 쿼리 지연 시간을 획기적으로 감소시켰습니다.

혁신적인 멀티홉 질의응답 시스템, TreeHop 등장!

최근 급증하는 멀티홉 질의응답(MHQA)에 대한 요구에 발맞춰, 중국과학원 자동화연구소의 Li Zhonghao 박사 연구팀이 획기적인 기술인 TreeHop을 개발했습니다. 기존의 Retrieval-augmented generation (RAG) 시스템은 여러 문서 조각에서 정보를 종합해야 하는 복잡한 쿼리에 직면하여 높은 계산 비용 문제에 시달렸습니다. 반복적인 LLM 기반 쿼리 재작성 및 라우팅은 여러 단계의 프로세스와 반복적인 LLM 호출로 이어져 비효율적이었죠.

하지만 TreeHop은 다릅니다! LLM을 사용하지 않고 임베딩 수준에서 작동하는 프레임워크로, 이전 쿼리 및 검색된 문서의 의미 정보를 융합하여 쿼리 임베딩을 동적으로 업데이트합니다. 이를 통해 임베딩 공간 연산만으로 반복적인 검색이 가능해집니다. 기존의 "Retrieve-Rewrite-Vectorize-Retrieve" 사이클을 훨씬 효율적인 "Retrieve-Embed-Retrieve" 루프로 대체하여 계산 오버헤드를 크게 줄였습니다. 더 나아가 규칙 기반 중지 기준을 도입하여 불필요한 검색을 제거하고, 효율성과 재현율 간의 균형을 맞췄습니다.

실험 결과는 놀랍습니다! TreeHop은 세 개의 오픈 도메인 MHQA 데이터셋에서 최첨단 RAG 방식과 비교해도 손색없는 성능을 보였습니다. 이는 기존 모델의 5%~0.4%에 불과한 모델 파라미터 크기로 달성한 결과이며, 쿼리 지연 시간은 약 99%나 감소했습니다. 이는 TreeHop이 다양한 지식 집약적 애플리케이션에 배포하기에 훨씬 빠르고 비용 효율적인 솔루션임을 의미합니다. 자세한 내용은 GitHub 에서 확인할 수 있습니다.

TreeHop은 단순한 기술적 발전을 넘어, AI 기반 질의응답 시스템의 효율성과 접근성을 획기적으로 개선할 잠재력을 지니고 있습니다. 이러한 혁신은 앞으로 더욱 발전된 인공지능 시스템 개발에 중요한 이정표가 될 것입니다. 특히, 비용 효율성을 높인 점은 실제 서비스 적용에 있어 큰 장점으로 작용할 것으로 예상됩니다. 향후 TreeHop의 발전과 그 응용 분야에 대한 지속적인 관심이 필요합니다.