생성형 AI 기반 지식 검색 시스템: 개인 정보 보호와 비용 절감의 새로운 지평
대만 연구진이 개발한 생성형 AI 기반 지식 검색 시스템은 BGE-M3과 BGE-reranker를 활용하여 정확도와 관련성을 높이고 환각 현상을 줄였습니다. 자동 및 사람 참여 평가를 통해 성능을 검증했으며, 개인 정보 보호와 비용 절감에 기여하는 혁신적인 시스템입니다.

양 테룬 등 대만 연구진이 발표한 최신 논문은 생성형 AI를 활용한 획기적인 지식 검색 시스템을 소개합니다. 이 시스템은 중국어 위키피디아와 법률 데이터베이스인 Lawbank를 기반으로 질문에 대한 답변을 생성하는데, 단순한 검색을 넘어 Retrieval-Augmented Generation (RAG) 방식을 채택하여 그 정확도와 효율성을 극대화했습니다.
핵심은 BGE-M3과 BGE-reranker라는 두 가지 기술입니다. BGE-M3은 질문과 관련된 가장 적절한 정보를 찾아내는 데 사용되고, BGE-reranker는 이 정보들을 질문과의 관련성에 따라 재정렬하는 역할을 합니다. 이는 마치 숙련된 조사관이 방대한 자료에서 핵심 정보만을 골라내어 정리하는 과정과 같습니다. 이렇게 선별된 정보는 대규모 언어 모델(LLM)에 제공되어 보다 정확하고 신뢰할 수 있는 답변을 생성하는 데 기여합니다. 특히, 이 시스템은 기존 생성형 AI의 단점으로 지적되던 환각 현상(hallucination) 을 현저히 줄이는 데 성공했습니다.
연구진은 시스템의 성능을 측정하기 위해 두 가지 방법을 사용했습니다. 하나는 자동 평가로, 모델이 생성한 답변과 정답을 비교하여 정확도를 측정하는 방식입니다. 다른 하나는 사람이 참여하는 평가로, 20명의 금융 비전문가에게 20개의 금융 관련 문제를 제시하고, 먼저 독자적으로 답변하게 한 후 시스템이 제공하는 정보를 참고하여 다시 답변하도록 했습니다. 그 결과, 시스템이 제공하는 정보가 답변의 정확도를 향상시키는 것을 확인했습니다.
이 연구의 가장 큰 성과는 두 가지로 요약할 수 있습니다. 첫째, LLM의 성능 향상입니다. BGE-M3과 BGE-reranker의 조합을 통해 관련성 높은 정보를 신속하게 찾아내고, 환각 현상을 줄이며, 필요에 따라 공개 또는 비공개 데이터 소스에 동적으로 접근할 수 있습니다. 둘째, 데이터 프라이버시 개선입니다. 맞춤형 RAG 아키텍처를 통해 LLM을 로컬에서 작동시킬 수 있으므로 민감한 데이터를 외부 서버로 보낼 필요가 없습니다. 이는 데이터 보안을 강화하고, 상용 서비스 의존도를 낮추며, 운영 비용을 절감하고, 개인 정보 보호 위험을 줄이는 데 크게 기여합니다.
이 연구는 생성형 AI의 발전 방향을 제시하는 동시에, 개인 정보 보호와 비용 효율성이라는 중요한 과제를 동시에 해결하는 혁신적인 시스템을 제시합니다. 앞으로 이 기술이 다양한 분야에서 활용되어 더욱 정확하고 안전한 지식 접근을 가능하게 할 것으로 기대됩니다.
Reference
[arxiv] Knowledge Retrieval Based on Generative AI
Published: (Updated: )
Author: Te-Lun Yang, Jyi-Shane Liu, Yuen-Hsien Tseng, Jyh-Shing Roger Jang
http://arxiv.org/abs/2501.04635v2