잠자는 지식의 부활: 가중치 공간 규제를 통한 변조 방지 삭제 기술

본 연구는 대규모 언어 모델에서의 정보 삭제(unlearning) 기술의 취약성을 밝히고, 가중치 공간 규제를 통해 재학습 공격에 대한 저항성을 높이는 새로운 방법론을 제시합니다. 삭제된 지식이 미세 조정을 통해 다시 나타나는 현상을 규명하고, 이를 예측하고 방지하는 기술 개발의 중요성을 강조합니다.

최근 AI 연구 분야에서 뜨거운 감자로 떠오르고 있는 주제가 있습니다. 바로 대규모 언어 모델(LLM)에서의 정보 삭제(Unlearning) 입니다. 개인정보 보호 및 윤리적 문제 해결에 필수적인 기술이지만, 새로운 연구 결과는 예상치 못한 취약점을 드러냈습니다.

Shoaib Ahmed Siddiqui 등 연구진이 발표한 논문 "From Dormant to Deleted: Tamper-Resistant Unlearning Through Weight-Space Regularization"은 LLM에서 삭제된 지식이 미세 조정을 통해 다시 나타나는, 이른바 재학습 공격(relearning attacks) 에 대한 놀라운 발견을 보고합니다.

핵심 발견:

• 연구진은 시각 분류기를 이용한 제어된 실험에서 삭제된 데이터의 정확도가 삭제 후 50% 수준에서 유지 데이터만으로 미세 조정을 통해 거의 100%까지 회복되는 현상을 관찰했습니다. 이는 삭제된 데이터의 예시가 전혀 없음에도 불구하고 발생합니다. 이는 마치 잠자고 있던 지식이 다시 깨어나는 것과 같습니다.
• 이러한 현상은 다양한 기존의 삭제 방법에서 공통적으로 나타났습니다. 반면, 처음부터 삭제된 데이터를 제외하고 재훈련된 모델은 정확도가 50%에 머물렀습니다.
• 연구진은 원래 모델과 삭제된 모델 간의 가중치 공간(weight-space) 의 특징, 특히 L2 거리와 선형 모드 연결성이 재학습 공격에 대한 저항성을 예측하는 중요한 지표임을 밝혔습니다.
• 이러한 통찰을 바탕으로 연구진은 재학습 공격에 대한 최첨단 저항성을 갖는 새로운 삭제 방법을 제안했습니다. 이는 마치 잠자는 지식을 영원히 지울 수 있는 마법의 주문을 찾아낸 것과 같습니다.

시사점:

이 연구는 LLM의 삭제 기술의 안전성에 대한 심각한 우려를 제기합니다. 단순히 데이터를 삭제하는 것만으로는 충분하지 않으며, 가중치 공간의 특성을 고려한 새로운 접근 방식이 필요함을 시사합니다. 이는 향후 AI 모델의 안전성 및 신뢰성 확보에 중요한 전환점이 될 것입니다. 잠자는 지식이 다시 깨어나는 것을 막는 기술 개발에 대한 연구가 더욱 활발해질 것으로 예상됩니다. 앞으로 AI 시스템의 윤리적이고 안전한 개발을 위해 이러한 연구 결과가 매우 중요한 역할을 할 것입니다.