세퍼(SePer): 의미적 퍼플렉서티 감소를 통해 검색 유용성 측정

중국과학원 연구팀이 개발한 SePer는 LLM의 내부적 확신도를 기반으로 검색 정보의 질을 평가하는 혁신적인 지표로, 기존 RAG 평가 방식의 한계를 극복하고 다양한 시나리오에서 효율적이고 정확한 평가를 제공합니다. 인간 선호도와 높은 상관관계를 보이며, LLM 기반 애플리케이션의 성능 향상 및 신뢰도 제고에 기여할 것으로 기대됩니다.

거대 언어 모델(LLM)의 지식 검색 활용의 새로운 지평을 열다: SePer

최근 거대 언어 모델(LLM)은 외부 지식 검색을 통합하여 생성 성능을 향상시키는 검색 증강 생성(RAG) 방식을 통해 놀라운 발전을 이루었습니다. 그러나 기존의 RAG 효과 평가는 1) 검색과 생성 요소를 함께 평가하여 검색의 고유한 기여도를 가리는 문제점, 2) NDCG와 같은 전통적인 지표를 사용하여 실제 생성 과정에서 검색의 유용성을 제대로 이해하지 못하는 문제점을 가지고 있었습니다.

중국과학원의 Lu Dai 등 연구팀은 이러한 문제를 해결하기 위해 RAG 프레임워크 내에서 정보 획득의 관점에서 검색 품질을 측정하는 새로운 자동 평가 방법을 제시했습니다. 바로 의미적 퍼플렉서티(Semantic Perplexity, SePer) 입니다. SePer는 LLM이 검색된 정보의 정확성에 대해 얼마나 확신하는지를 나타내는 지표로, 검색 후 의미적 퍼플렉서티가 감소하는 정도를 통해 검색의 유용성을 정량화합니다.

SePer의 핵심: LLM의 내부적 확신도를 반영하여 검색 정보의 질을 객관적으로 평가하는 혁신적인 접근 방식입니다. 기존 방식과 달리, LLM이 검색 정보를 얼마나 잘 이해하고 활용하는지에 초점을 맞추어, 실제 생성 과정에 대한 통찰력을 제공합니다.

연구팀은 광범위한 실험을 통해 SePer가 인간의 선호도와 매우 높은 상관관계를 가지며, 다양한 RAG 시나리오에서 검색 유용성을 더욱 정확하고 효율적으로 평가할 수 있음을 입증했습니다. 이는 RAG 기술의 발전과 실제 응용에 중요한 이정표가 될 것으로 기대됩니다. SePer는 단순한 지표를 넘어, LLM 기반 애플리케이션의 검색 성능 최적화와 신뢰도 향상에 중요한 역할을 할 것으로 예상됩니다.

향후 전망: SePer의 등장은 RAG 기술의 발전에 새로운 가능성을 제시합니다. 더욱 정교한 검색 전략과 LLM의 지식 활용 방식을 개발하는 데 중요한 역할을 할 것으로 기대되며, 다양한 분야에서 LLM의 성능 향상 및 신뢰도 제고에 기여할 것으로 예상됩니다. 특히, 검색 결과의 신뢰도와 정확성을 높이기 위한 연구에 널리 활용될 수 있을 것으로 보입니다.