잊는 법을 배우는 AI: 다중 목표 대규모 언어 모델 언러닝(MOLLM)
Pan Zibin 등 연구진이 개발한 MOLLM 알고리즘은 기존의 LLM 언러닝 방식의 한계를 극복하는 다중 목표 최적화 기반의 새로운 접근 방식으로, 경사 폭발과 치명적인 망각 문제를 해결하고 언러닝 효과와 모델 유용성을 동시에 향상시켰습니다.

최근 AI 분야에서 가장 뜨거운 감자 중 하나는 바로 대규모 언어 모델(LLM) 입니다. 인간과 같은 수준의 자연어 처리 능력을 보이며 다양한 분야에 혁신을 가져올 가능성을 보여주고 있죠. 하지만 LLM의 발전과 함께 새로운 과제도 등장했습니다. 바로 **원치 않는 정보나 행동을 제거하는 '언러닝'**입니다. 전체 모델을 다시 학습시키는 것은 비효율적이고 자원 낭비이기 때문에, 기존 학습 내용을 효과적으로 제거하는 방법이 필요했습니다.
Pan Zibin 등 6명의 연구진이 발표한 논문, "Multi-Objective Large Language Model Unlearning" 은 이러한 문제에 대한 혁신적인 해결책을 제시합니다. 연구진은 기존의 경사 상승(Gradient Ascent, GA) 방식을 개선하여 다중 목표 대규모 언어 모델 언러닝(MOLLM) 알고리즘을 개발했습니다.
GA 방식은 모델이 특정 데이터에 대한 예측 확률을 낮춰 영향력을 제거하는 접근 방식입니다. 하지만 GA는 경사 폭발(gradient explosion) 과 치명적인 망각(catastrophic forgetting) 이라는 두 가지 심각한 문제점을 가지고 있습니다. 경사 폭발은 학습 과정이 불안정해지는 현상이고, 치명적인 망각은 원치 않는 정보를 제거하는 과정에서 기존에 학습된 유용한 정보까지 잃어버리는 현상입니다.
MOLLM 알고리즘은 이러한 문제를 다중 목표 최적화를 통해 해결합니다. 먼저, 교차 엔트로피 손실 함수를 언러닝에 적합하도록 수정하여 경사 폭발 문제를 완화합니다. 그리고 공통된 하강 업데이트 방향을 계산하여, 모델이 목표 데이터를 잊는 동시에 LLM의 유용성을 유지하도록 합니다.
연구 결과, MOLLM 알고리즘은 기존 최고 성능(SOTA) GA 기반 LLM 언러닝 방법들보다 언러닝 효과와 모델 유용성 유지 측면에서 훨씬 우수한 성능을 보였습니다. 이는 LLM의 안전성과 신뢰성을 향상시키는 데 크게 기여할 것으로 기대됩니다. MOLLM은 단순히 정보를 잊는 것이 아니라, AI가 스스로 학습 내용을 관리하고 개선하는 능력을 한 단계 끌어올린 획기적인 연구라고 할 수 있습니다.
이 연구는 LLM의 발전에 있어서 안전성과 신뢰성 확보라는 중요한 과제를 해결하는 데 한 걸음 더 나아간 중요한 진전입니다. 앞으로 MOLLM 알고리즘이 더욱 발전하여 더욱 안전하고 신뢰할 수 있는 AI 시스템 구축에 기여할 것을 기대해 봅니다.
Reference
[arxiv] Multi-Objective Large Language Model Unlearning
Published: (Updated: )
Author: Zibin Pan, Shuwen Zhang, Yuesheng Zheng, Chi Li, Yuheng Cheng, Junhua Zhao
http://arxiv.org/abs/2412.20412v1