잊고 새롭게 배우는 AI: 충돌 없는 모델 편집의 혁신, CoME

정다현, 서재형, 이재욱, 박찬준, 임휘석 연구팀이 개발한 CoME(Conflict-free Model Editing)은 기존 LLM의 오래되거나 잘못된 정보로 인한 신뢰성 저하 문제를 해결하기 위해 'unlearning' 기반의 모델 편집 방법을 제시합니다. GPT-J와 LLaMA-3 모델 실험을 통해 CoME의 효과성과 신뢰성 향상을 검증하였습니다.

끊임없이 발전하는 인공지능(AI) 기술, 그 중심에는 거대 언어 모델(LLM)이 있습니다. 하지만 LLM은 학습 과정에서 오래되거나 잘못된 정보를 기억하는 경우가 많아, 신뢰성에 문제가 발생하기도 합니다. 전체 재학습 없이 이러한 오류를 수정하는 모델 편집 방법이 개발되었지만, 기존 지식과 새로운 지식이 충돌하여 효율성이 떨어지는 문제가 있었습니다.

정다현, 서재형, 이재욱, 박찬준, 임휘석 연구팀은 이러한 문제를 해결하기 위해 'CoME(Conflict-free Model Editing)' 이라는 혁신적인 프레임워크를 제시했습니다. CoME는 오래된 지식을 선택적으로 제거하여 새로운 지식을 효과적으로 통합하는 것을 목표로 합니다. 핵심은 바로 'unlearning(잊기)' 입니다. 기존에 잘못 학습된 부분을 잊게 함으로써 새로운 정보가 기존 정보와 충돌 없이 자리 잡도록 하는 것입니다. 이는 마치 인간의 학습 과정과 유사합니다. 우리가 새로운 것을 배우려면 기존의 잘못된 지식을 먼저 잊어야 하는 것과 같습니다.

연구팀은 GPT-J와 LLaMA-3 모델을 사용하여 Counterfact와 ZsRE 데이터셋으로 실험을 진행했습니다. 그 결과, CoME는 기존 모델 편집 방법에 비해 편집 정확도와 모델 신뢰성을 모두 향상시키는 것으로 나타났습니다. 이는 오래된 지식의 제거가 모델 편집 효율성과 생성 성능 유지를 위해 매우 중요하다는 것을 시사합니다. 즉, 단순히 새로운 정보를 추가하는 것이 아니라, 잘못된 기존 정보를 제거하는 것이 AI 모델의 성능 향상에 더욱 효과적임을 보여주는 것입니다.

CoME는 단순한 기술적 발전을 넘어, AI 모델의 신뢰성과 정확성을 높이는 데 중요한 이정표가 될 것으로 예상됩니다. 앞으로 CoME를 기반으로 한 더욱 발전된 AI 기술이 등장하여 우리의 삶에 긍정적인 영향을 미칠 것으로 기대됩니다. 하지만 동시에, AI 모델의 학습 과정에 대한 윤리적 고찰과 책임 있는 기술 개발이 더욱 중요해졌다는 점을 잊어서는 안 됩니다. CoME는 더욱 안전하고 신뢰할 수 있는 AI 시스템 구축을 위한 중요한 한 걸음입니다.