잊는 법을 배우는 AI: UPCORE, 언러닝의 새로운 지평을 열다

UPCORE는 기존 언러닝 방법의 한계를 극복하는 새로운 알고리즘으로, 모델 성능 저하를 최소화하면서 정보 삭제의 효율성을 높이는 데 성공했습니다. 새로운 평가 지표 AUC 도입을 통해 언러닝 성능 평가의 정확성도 향상시켰습니다.

인공지능(AI) 시대, 개인정보 보호 및 윤리적 문제는 더 이상 선택이 아닌 필수입니다. 특히 거대 언어 모델(LLM)과 같은 사전 훈련된 모델에서 특정 정보를 삭제해야 할 필요성이 커지고 있습니다. 하지만 기존의 언러닝(unlearning) 방법들은 정보 삭제 과정에서 모델의 다른 기능까지 손상시키는 문제점을 안고 있었습니다. 이러한 문제를 해결하기 위해 Vaidehi Patil, Elias Stengel-Eskin, Mohit Bansal 등이 개발한 UPCORE(Utility-Preserving Coreset Selection) 알고리즘이 등장했습니다.

UPCORE는 모델의 유용성(utility)을 유지하면서 핵심 데이터셋(coreset)을 선택하는 방법론입니다. 연구진은 모델 손상이 '잊어야 할 데이터'의 분산과 상관관계가 있다는 것을 발견하고, 이를 바탕으로 이상치(outliers)를 제거하여 언러닝 후 모델 성능 저하를 최소화하는 전략을 고안했습니다. 이는 마치 정원사가 필요없는 잡초만 골라 제거하여 정원의 아름다움을 유지하는 것과 같습니다.

UPCORE의 핵심은 '균형' 입니다. 정보 삭제의 효율성과 모델 보존의 중요성 사이의 균형을 최적으로 맞추는 것입니다. 기존 언러닝 방법들과 달리 UPCORE는 여러 표준 언러닝 방법에서 일관되게 우수한 성능을 보였습니다. 단순히 기존 지표만 사용하는 대신, 곡선 아래 면적(AUC) 을 측정하는 새로운 지표를 도입하여 언러닝 성능 평가의 정확성을 높였습니다. 이러한 새로운 지표를 통해 UPCORE가 기존 지표뿐 아니라 AUC에서도 개선된 성능을 보임을 확인했습니다. 이는 핵심 데이터셋과 제거된 데이터 간의 '긍정적 전이(positive transfer)'를 증진하고, '잊어야 할 데이터'에서 다른 데이터로의 '부정적 전이(negative transfer)'를 감소시킨 결과입니다.

UPCORE는 단순한 알고리즘이 아닙니다. 개인정보 보호와 AI 모델의 유용성 사이에서 균형을 찾고자 하는 노력의 결정체입니다. 이는 AI 기술의 발전과 윤리적 책임 사이의 균형을 맞추기 위한 중요한 이정표가 될 것입니다. 앞으로 UPCORE를 기반으로 더욱 발전된 언러닝 기술이 등장하여 AI 시대의 윤리적 문제 해결에 기여할 것으로 기대됩니다.