LLM의 윤리적 딜레마를 해결할 'HANKER' 등장: 지식 그래프 기반의 혁신적인 감사 데이터셋 생성

중국과학원 연구팀이 개발한 HANKER 프레임워크는 지식 그래프를 활용하여 대규모 언어 모델(LLM)의 언러닝 효과를 정확하게 평가하기 위한 혁신적인 감사 데이터셋 생성 방법을 제시합니다. 기존 벤치마크의 한계를 극복하고 데이터 중복 문제를 해결하여 LLM의 윤리적 문제 해결에 기여할 것으로 기대됩니다.

잊혀질 권리와 AI의 만남: LLM 언러닝의 새로운 지평

최근 급성장하는 대규모 언어 모델(LLM)은 개인정보보호와 저작권 문제에 직면하고 있습니다. 민감한 정보를 선택적으로 제거하고, 개인의 프라이버시를 보호하며, 저작권 규정을 준수하기 위한 '언러닝(unlearning)' 기술이 주목받고 있죠. 하지만 언러닝의 효과를 제대로 평가할 척도가 부족했습니다. 기존 벤치마크는 수백 개의 테스트 사례만으로는 LLM의 방대한 지식 저장소를 제대로 평가하기에 역부족이었기 때문입니다.

HANKER: 지식 그래프로 언러닝 평가의 새로운 기준을 세우다

중국과학원 소속 Weipeng Jiang 박사 연구팀은 이러한 문제를 해결하기 위해 'HANKER'라는 혁신적인 프레임워크를 개발했습니다. HANKER는 지식 그래프를 활용하여 언러닝 감사 데이터셋을 자동으로 생성하는데, **핵심은 '정확성'과 '포괄성'**입니다. 기존 방법의 한계였던 데이터의 부족과 중복 문제를 지식 그래프 기반의 세밀한 분석을 통해 해결한 것이죠.

HANKER는 인기 있는 MUSE 벤치마크에 적용되어 뉴스 및 도서 데이터셋에 대해 각각 69,000개와 111,000개 이상의 감사 사례를 생성하는 놀라운 성과를 달성했습니다. 기존 벤치마크가 놓쳤던 수천 건의 지식 암기 사례를 찾아낸 것입니다. 연구팀은 특히 데이터 중복이 언러닝 효과 측정 지표를 얼마나 심각하게 왜곡하는지 보여주었습니다. 중복된 데이터는 ROUGE 점수를 19.7%에서 26.1%로, 함축 점수를 32.4%에서 35.2%로 인위적으로 부풀리는 것을 확인했습니다. 이는 정확한 평가를 위해 체계적인 중복 제거가 필수적임을 보여줍니다.

미래를 위한 발걸음: 더욱 공정하고 투명한 AI 시스템을 향하여

HANKER의 등장은 LLM 언러닝 평가의 새로운 시대를 열었습니다. 더욱 정확하고 포괄적인 평가를 통해, 개인정보 보호와 저작권 준수를 위한 AI 시스템 개발에 획기적인 전환점을 마련할 것으로 기대됩니다. 이 연구는 단순히 기술적 발전을 넘어, 윤리적이고 책임감 있는 AI 개발을 위한 중요한 이정표를 제시하고 있습니다. 앞으로 HANKER가 더욱 발전하여, 더욱 공정하고 투명한 AI 시스템 구축에 기여할 수 있기를 기대합니다.