잊어버리는 법을 배우는 AI: 제약된 엔트로피 언러닝의 등장

대규모 언어 모델의 언러닝 문제 해결을 위한 새로운 접근법인 '제약된 엔트로피 언러닝'이 제시되었습니다. 기존 방식의 한계를 극복하고, 안정적이고 효율적인 최적화를 가능하게 하는 이 기법은 향후 AI 시스템의 안전성과 신뢰성 향상에 크게 기여할 것으로 예상됩니다.

인공지능(AI) 시대, 대규모 언어 모델(LLM)은 우리 삶 깊숙이 자리 잡았습니다. 하지만 LLM이 실제 환경에 배포되면서 민감하거나 오래된, 혹은 독점적인 정보를 '잊어버리는' 기술의 필요성이 커지고 있습니다. 기존의 언러닝(unlearning) 방법들은 망각과 유지의 균형을 단일 스칼라 손실 함수로 조절하는 방식을 주로 사용했는데, 이는 공격적인 망각 과정에서 불안정한 최적화와 유지된 데이터 성능 저하로 이어지는 문제점을 안고 있었습니다.

Taha Entesari를 비롯한 연구진은 이러한 문제를 해결하기 위해 새로운 언러닝 기법인 **'제약된 엔트로피 언러닝'**을 제안했습니다. 이 방법은 망각과 유지를 각각 다른 방식으로 다룹니다. 특히, '잊어야 할' 정보에 대해서는 logit-margin flattening loss 라는 새로운 손실 함수를 도입하여 출력 분포를 균일하게 만들어 망각을 강제합니다. 반면, '기억해야 할' 정보는 하드 제약 조건으로 보호합니다. 기존의 엔트로피 기반 목적 함수와 달리, 소프트맥스 함수를 사용하지 않아 수치적으로 안정적이고, 기울기 소실 문제도 해결하여 더욱 효율적이고 강력한 최적화가 가능합니다.

연구진은 이러한 제약 조건 최적화 문제를 해결하기 위해 확장 가능한 프리말-듀얼 알고리즘을 사용하여 망각과 유지 사이의 절충점을 찾았습니다. TOFU와 MUSE 벤치마크를 사용한 실험 결과, 제약된 엔트로피 언러닝은 기존 최고 성능을 뛰어넘는 결과를 보여주었으며, 목표 정보를 효과적으로 제거하면서 동시에 모델의 성능을 유지했습니다.

이 연구는 LLM의 안전성과 신뢰성을 높이는 중요한 발걸음입니다. 개인 정보 보호, 저작권 문제 등 다양한 윤리적, 법적 문제 해결에 크게 기여할 것으로 기대됩니다. 앞으로 이 기술이 더욱 발전하여 AI 시스템의 책임 있는 사용을 위한 핵심 기술로 자리매김할 수 있기를 기대합니다.