RAG의 양면성: 소규모 LLM의 공정성 문제와 해결책

본 연구는 RAG 기술이 소규모 LLM의 공정성을 악화시킬 수 있다는 점을 밝히고, 이를 해결하기 위한 FairFT와 FairFilter라는 두 가지 새로운 방법을 제시합니다. 실험 결과, 제안된 방법들은 성능 저하 없이 공정성을 개선하는 데 효과적임을 보여줍니다.

최근 Retrieval-Augmented Generation (RAG) 기술이 대규모 언어 모델(LLM)의 성능 향상에 크게 기여하고 있습니다. 외부 지식 소스에서 관련 문서를 검색하여 LLM에 제공함으로써, 사실상 오류나 환각(hallucination) 문제를 줄이는 데 효과적이죠. 하지만, Zhang Zheng 등의 연구진은 이러한 RAG 기술의 긍정적 측면 이면에 숨겨진 중요한 문제점을 지적했습니다. 바로 공정성 입니다.

연구진은 다양한 LLM, 검색 엔진, 그리고 데이터 소스를 사용하여 광범위한 실험을 진행했습니다. 그 결과 놀랍게도, 80억 파라미터(8B) 미만의 소규모 LLM에서는 RAG 도입이 오히려 공정성을 악화시키는 것으로 나타났습니다. LLaMA3.2-1B, Mistral-7B, LLaMA3-8B 등의 모델에서 이러한 현상이 두드러졌습니다. 반면, 8B 이상의 대규모 LLM에서는 RAG가 공정성 향상에 기여하는 것으로 확인되었습니다.

이러한 문제를 해결하기 위해 연구진은 두 가지 혁신적인 접근 방식을 제안했습니다. 첫 번째는 FairFT로, 검색 엔진의 공정성을 LLM과 일치시켜 공정한 결과를 도출하는 데 도움이 되는 문서를 검색하도록 설계되었습니다. 두 번째는 FairFilter로, 검색 후 편향된 콘텐츠를 걸러내는 필터링 메커니즘입니다.

연구진은 실제 데이터셋을 사용하여 이 두 가지 방법의 효과를 검증했습니다. 그 결과, FairFT와 FairFilter는 성능 저하 없이 공정성을 개선하는 데 효과적임을 입증했습니다.

이 연구는 RAG 기술이 모든 LLM에 적용될 때 항상 긍정적인 결과만을 가져오는 것은 아니라는 점을 강조합니다. 특히 소규모 LLM에 RAG를 적용할 때는 공정성 문제를 신중하게 고려하고, FairFT와 FairFilter와 같은 해결책을 적용해야 함을 시사합니다. 앞으로 LLM의 공정성 확보를 위한 연구가 더욱 중요해질 것으로 예상됩니다. 이 연구는 이러한 노력에 중요한 이정표를 제시했다고 평가할 수 있습니다.