잊는 법을 배우는 AI: 지식의 상호연결성을 고려한 충실한 망각, FaithUn과 KLUE

양낙경, 김민성, 윤승현, 신중보, 정교민 연구팀은 AI 언어 모델에서 민감 정보를 제거하는 기존 연구의 한계를 극복하기 위해 '충실한 망각' 개념을 제시하고, 새로운 벤치마크 FaithUn과 학습/삭제 방법 KLUE를 개발했습니다. 실험 결과 KLUE는 실제 지식 QA 환경에서 뛰어난 성능을 보이며 AI의 윤리적 문제 해결에 기여할 것으로 기대됩니다.

개인정보 유출 등의 위험으로부터 AI 언어 모델을 보호하기 위한 민감 정보 삭제 연구가 활발히 진행되고 있습니다. 하지만 양, 김, 윤, 신, 정 연구팀(2025)의 논문, "FaithUn: Toward Faithful Forgetting in Language Models by Investigating the Interconnectedness of Knowledge"는 기존 연구의 한계를 지적하며 새로운 가능성을 제시합니다.

기존 연구들은 지식의 복잡하고 상호 연결된 특성을 간과해왔습니다. 특정 지식을 삭제하려 할 때, 관련된 다른 지식까지 함께 삭제되거나, 오히려 전혀 다른 맥락의 지식이 삭제되는 '피상적인 망각(superficial unlearning)' 현상이 발생할 수 있다는 점입니다. 연구팀은 이 문제를 해결하기 위해 새로운 개념과 방법을 제시합니다.

핵심은 '충실한 망각(Faithful Forgetting)'입니다. 단순히 지식을 삭제하는 것이 아니라, 관련된 지식까지 정확하게 제거하고, 무관한 지식은 보존하는 것을 목표로 합니다. 이를 평가하기 위해 연구팀은 실제 지식 QA(질의응답) 환경에서 'FaithUn'이라는 새로운 벤치마크를 제안했습니다. FaithUn은 언어 모델의 '충실한 망각' 능력을 측정하는 척도로 활용될 것입니다.

더 나아가 연구팀은 KLUE(Knowledge-based Learning Update for Explanations) 라는 새로운 언어 모델 학습/삭제 방법을 제안합니다. KLUE는 설명 가능성 기법을 활용하여 지식과 관련된 뉴런(신경망의 기본 단위)을 식별하고, 선택된 '잊지 말아야 할' 샘플을 사용하여 해당 뉴런만 업데이트합니다. 이는 불필요한 지식 삭제를 최소화하고, 필요한 지식은 보존하는 데 효과적입니다.

실험 결과는 기존의 언어 모델 학습/삭제 방법들이 '충실한 망각'을 보장하지 못하는 반면, KLUE는 실제 지식 QA 환경에서 뛰어난 효과를 보였다는 것을 보여줍니다. 이는 AI의 윤리적 문제 해결에 중요한 진전으로 평가될 수 있습니다. FaithUn과 KLUE는 앞으로 AI의 안전성과 신뢰성을 높이는 데 크게 기여할 것으로 기대됩니다. AI가 단순히 정보를 처리하는 도구를 넘어, 인간의 가치와 윤리를 존중하는 지능적인 존재로 발전하는 여정에 한 걸음 더 다가선 것입니다.

참고: 본 내용은 제공된 논문 초록을 바탕으로 재구성된 것으로, 논문의 모든 세부 내용을 포함하지는 않습니다.