RAG-Gym: 프로세스 감독으로 추론 및 검색 에이전트 최적화

중국과학원 자동화연구소 연구팀이 개발한 RAG-Gym은 프로세스 감독 기반의 새로운 RAG 최적화 프레임워크로, ReSearch 아키텍처와 함께 다양한 에이전트 아키텍처에서 최대 25.6%의 성능 향상을 달성했습니다. 고급 LLMs의 활용과 보상 모델의 전이 가능성을 통해 효율성과 확장성을 확보하여 지식 기반 시스템 및 AI 응용 분야에 큰 영향을 미칠 것으로 기대됩니다.

RAG-Gym: 지식 집약적 과제의 혁신

최근 Retrieval-augmented generation (RAG) 은 지식 집약적 과제에서 엄청난 잠재력을 보여주고 있습니다. 하지만 기존 RAG 아키텍처는 정적인 검색에 의존하여 순차적인 정보 탐색이 필요한 복잡한 질문에는 효과적이지 못했습니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 에이전트 기반 추론 및 검색입니다. 그러나 대부분의 기존 방법은 프롬프트 엔지니어링에 크게 의존하는 단점이 있었습니다.

중국과학원 자동화연구소의 Xiong Guangzhi 박사 연구팀은 이러한 문제를 해결하기 위해 RAG-Gym을 개발했습니다. RAG-Gym은 각 검색 단계에서 세분화된 프로세스 감독을 통해 정보 탐색 에이전트를 향상시키는 통합 최적화 프레임워크입니다. 단순히 정적인 정보 검색을 넘어, 에이전트가 질문에 대한 답을 찾아가는 과정 자체를 학습하고 최적화하는 것이 핵심입니다.

연구팀은 RAG-Gym 프레임워크 내에서 답변 추론과 검색 쿼리 생성을 시너지 효과를 내도록 설계된 새로운 에이전트 아키텍처인 ReSearch를 함께 제시했습니다. ReSearch는 답을 찾는 과정에서 더욱 효율적이고 정확한 정보 탐색을 가능하게 합니다.

네 가지 도전적인 데이터셋에 대한 실험 결과, RAG-Gym은 다양한 에이전트 아키텍처에서 최대 **25.6%**의 성능 향상을 달성했습니다. 특히 ReSearch는 기존 기준 모델들을 꾸준히 능가하는 성능을 보였습니다. 흥미로운 점은 고급 LLMs (Large Language Models) 을 프로세스 보상 판정자로 활용하고, 훈련된 보상 모델을 다른 LLMs에 대한 검증자로 전이하는 것이 가능하다는 점입니다. 이는 훈련 및 추론의 확장성을 높이는 데 기여합니다.

RAG-Gym은 단순한 기술적 발전을 넘어, 복잡한 질문에 대한 효과적인 정보 탐색이라는 중요한 문제에 대한 새로운 해결책을 제시합니다. 이 연구는 향후 지식 기반 시스템 및 인공지능 응용 분야에 큰 영향을 미칠 것으로 예상됩니다. 자세한 내용은 프로젝트 홈페이지 (https://rag-gym.github.io/)에서 확인할 수 있습니다.