AIstorian: AI가 역사가가 되는 날 - KG 기반 다중 에이전트 시스템으로 정확한 전기 생성

화웨이와 저장대학교 공동 연구팀이 개발한 AIstorian은 지식 그래프와 다중 에이전트 시스템을 활용하여 기존 LLM의 한계를 극복하고 역사적 전기 생성의 정확성과 스타일 유지를 향상시킨 혁신적인 시스템입니다. 실험 결과, 사실 정확도 3.8배 향상, 환각률 47.6% 감소라는 놀라운 성과를 거두었습니다.

AIstorian: AI가 역사가가 되는 날

화웨이 포이즌 랩(Poisson Lab) 과 저장대학교(Zhejiang University) 연구진이 공동으로 개발한 AIstorian은 AI를 활용한 역사 연구의 새로운 지평을 열었습니다. 기존의 대규모 언어 모델(LLM)이 역사적 전기 생성에서 어려움을 겪는 사실 정확도, 스타일 유지, 그리고 여러 문서의 단편적인 정보 처리 문제를 해결하기 위해 탄생한 혁신적인 시스템입니다.

AIstorian의 핵심 기술: 지식 그래프(KG)와 다중 에이전트의 만남

AIstorian은 단순한 LLM이 아닙니다. 지식 그래프(KG) 기반의 검색 증강 생성(RAG) 과 환각 방지 다중 에이전트 시스템을 통해 정확하고 스타일리쉬한 전기를 생성합니다. 핵심 기술들을 자세히 살펴보면 다음과 같습니다.

• 컨텍스트 학습 기반 청킹 전략: 문서를 효율적으로 처리하기 위해 맥락을 고려한 조각화 전략을 사용합니다. 이는 기존 LLM의 정보 처리 한계를 극복하는 데 중요한 역할을 합니다.
• KG 기반 색인: 방대한 역사적 데이터에서 필요한 정보를 빠르고 정확하게 찾을 수 있도록 KG 기반 색인 시스템을 구축했습니다. 이는 사실 정확도 향상에 크게 기여합니다.
• 다중 에이전트 기반 환각 감지 및 오류 수정: 여러 에이전트가 협력하여 생성 과정에서 발생할 수 있는 환각(hallucination, 사실이 아닌 내용 생성)을 감지하고 오류 유형에 맞춰 수정합니다. 이는 전기의 신뢰성을 높이는 핵심 기능입니다.
• 두 단계 미세 조정: 데이터 증강 기반 지도 학습과 스타일 선호도 최적화를 결합한 두 단계 미세 조정 기법을 통해 LLM의 역사적 글쓰기 스타일을 학습시켰습니다. 이는 전기의 스타일 일관성을 유지하는 데 중요한 역할을 합니다.

놀라운 결과: 정확도 3.8배 향상, 환각률 47.6% 감소

실제 역사적 진사(Jinshi) 데이터셋을 사용한 실험 결과, AIstorian은 기존 기준 모델에 비해 사실 정확도는 3.8배 향상, 환각률은 47.6% 감소라는 놀라운 성과를 달성했습니다. 이는 AIstorian의 우수성을 명확하게 보여주는 결과입니다.

미래를 향한 발걸음: AI와 역사 연구의 융합

AIstorian은 단순한 기술적 성과를 넘어, AI와 역사 연구의 융합을 가속화하는 중요한 이정표가 될 것입니다. Github(https://github.com/ZJU-DAILY/AIstorian)에서 AIstorian의 코드와 데이터를 확인할 수 있습니다. 앞으로 AIstorian이 역사 연구에 어떤 혁신을 가져올지 기대됩니다.

참고: 본 기사는 제공된 정보를 바탕으로 작성되었으며, 저자들의 연구 성과를 정확하게 전달하는 데 초점을 맞추었습니다.