획기적인 다단계 질의응답: PAR RAG 프레임워크가 제시하는 새로운 지평

중국과학원 자동화연구소 연구팀이 개발한 PAR RAG 프레임워크는 다단계 질의응답에서 오류 전파 문제를 해결하여 정확성과 신뢰성을 높였으며, 기존 최첨단 방법들을 능가하는 성능을 기록했습니다.

인공지능(AI) 분야에서 다단계 질의응답(Multi-hop QA)은 여전히 풀어야 할 난제입니다. 복잡한 질문을 논리적인 추론 경로로 분해하고 신뢰할 수 있는 중간 결과를 생성해야 하기 때문입니다. 기존의 RAG(Retrieval-Augmented Generation) 방법들은 추론 경로의 오류나 중간 결과의 부정확성으로 인해 정확도가 떨어지는 문제를 안고 있었습니다. 오류가 누적되고 증폭되어 최종 답변의 정확성을 크게 저해하는 것이죠.

하지만 중국과학원 자동화연구소(Institute of Automation, Chinese Academy of Sciences)의 연구진, 장닝닝(Ningning Zhang) 박사를 비롯한 연구팀이 이 문제에 대한 혁신적인 해결책을 제시했습니다. 바로 PAR RAG(Plan-then-Act-and-Review RAG) 프레임워크입니다.

PAR RAG는 크게 세 단계, 즉 계획(Planning), 실행(Act), 검토(Review) 로 구성됩니다. 이는 해석 가능하고 점진적인 추론 패러다임을 제공하여 오류 전파를 최소화하고 정확하고 신뢰할 수 있는 다단계 질의응답을 가능하게 합니다.

계획 단계에서는 상향식 문제 분해 전략을 적용하여 여러 실행 단계를 통합하는 포괄적인 계획을 수립합니다. 이를 통해 기존 RAG 방법에서 흔히 발생하는 지역 최적화 문제를 피하고 전체 추론 경로의 정확성을 보장합니다.

실행 단계에서는 다중 입자 검증 메커니즘을 기반으로 계획을 실행합니다. 거친 입자의 유사성 정보와 미세한 관련 데이터를 모두 활용하여 중간 결과를 철저히 검사하고 조정합니다. 이를 통해 프로세스의 정확성을 확보하고 오류의 전파 및 증폭을 효과적으로 관리합니다.

검토 단계에서는 실행 결과를 검토하고 필요시 수정 또는 보완하여 최종 결과의 정확성을 높입니다. 이러한 단계별 접근 방식은 다단계 추론 과정에서 발생할 수 있는 오류를 최소화하고, 최종 답변의 신뢰성을 높이는 데 크게 기여합니다.

연구팀은 다단계 QA 데이터셋에서 PAR RAG 프레임워크를 실험한 결과, EM 및 F1 점수를 포함한 주요 지표에서 기존 최첨단 방법들을 상당히 능가하는 성능을 확인했습니다. 이는 PAR RAG가 다단계 질의응답 문제 해결에 있어 획기적인 발전임을 보여줍니다. PAR RAG의 등장은 AI 기반 질의응답 시스템의 정확성과 신뢰성을 한층 높일 것으로 기대됩니다. 이는 더욱 정교하고 복잡한 질문에도 정확한 답변을 제공하는 AI 시스템 개발의 중요한 이정표가 될 것입니다. 향후 연구에서는 PAR RAG의 확장성 및 다양한 응용 분야에 대한 추가 연구가 필요할 것으로 예상됩니다.