핵심 인프라 보호를 위한 AI 안전망: 'SafetyNet'으로 유해 출력 감지

Maheep Chaudhary와 Fazl Barez가 개발한 SafetyNet은 비지도 학습 기반의 실시간 AI 유해 출력 감지 프레임워크입니다. 백도어 트리거 응답에 초점을 맞춰 진정한 인과 지표를 식별하고 고도화된 모델의 기만 행위를 방지하며, 96%의 높은 정확도를 달성했습니다.

원자력 및 항공과 같은 고위험 산업에서는 실시간 모니터링을 통해 위험한 시스템 상태를 감지합니다. 마찬가지로, 대규모 언어 모델(LLM)도 모니터링 안전장치가 필요합니다. Maheep Chaudhary와 Fazl Barez가 제안한 SafetyNet은 바로 이러한 필요성에서 탄생한 실시간 프레임워크입니다.

SafetyNet은 비지도 학습 접근 방식을 사용하여 정상 동작을 기준으로 유해 출력을 이상치로 처리합니다. 특히, 특정 입력 구문이 숨겨진 취약점을 활성화하여 폭력, 포르노, 증오 발언과 같은 안전하지 않은 콘텐츠를 생성하는 백도어 트리거 응답에 초점을 맞춥니다. 이는 단순한 상관관계가 아닌 진정한 인과 지표를 식별하고, 점점 더 정교해지는 미래 모델의 기만 행위를 예방하는 두 가지 주요 과제를 해결하기 위한 것입니다.

연구팀은 인간의 기만 행위를 모방했습니다. 인간이 거짓말을 할 때 신체적 징후를 보이는 것처럼, LLM이 유해 콘텐츠를 생성할 때 독특한 내부 행동적 서명을 나타내는지 조사한 것입니다. 이를 위해 1) 표면적인 상관 관계가 아닌 진정한 인과 지표를 포착하는 모니터링 시스템 설계, 2) 점점 더 능력 있는 "미래 모델"의 의도적인 회피 행위 방지 라는 두 가지 중요한 과제에 도전했습니다.

연구 결과, 모델은 인과적 메커니즘을 통해 유해 콘텐츠를 생성할 수 있으며, (a) 선형 및 비선형 표현 간의 전환, (b) 특징 관계 수정을 통해 기만적이 될 수 있음을 보여주었습니다. 이에 대응하여 연구팀은 SafetyNet을 개발했습니다. SafetyNet은 여러 차원의 표현을 모니터링하는 다중 감지기 프레임워크로, 개별 모니터를 회피하기 위해 정보가 표현 공간 전체로 이동하더라도 유해 행동을 성공적으로 감지합니다. 비지도 앙상블 접근 방식을 사용하여 유해 사례를 96%의 정확도로 감지하는 것으로 평가되었습니다.

SafetyNet은 AI 시스템의 안전성을 향상시키고, 고위험 산업에서의 AI 활용에 대한 신뢰도를 높이는 중요한 발걸음입니다. AI의 윤리적 문제 해결에 있어 중요한 전환점이 될 것으로 기대됩니다.