거대언어모델의 안전성 향상: 추론과 지침을 활용한 새로운 접근법

본 기사는 거대언어모델(LLM)의 안전성 향상을 위한 새로운 연구 결과를 소개합니다. 기존의 거절 훈련(RT) 방식의 한계를 극복하고자, 추론 기반의 안전성 지침을 활용하여 잠재 지식을 효과적으로 활용하는 방법을 제시하며, OOD 공격에 대한 일반화 성능을 크게 향상시키는 실험 결과를 보여줍니다.

최근 급속한 발전을 이루고 있는 거대언어모델(LLM)은 그 활용성에도 불구하고 안전성 문제라는 큰 과제에 직면해 있습니다. 특히, 예상치 못한 상황(Out-of-Distribution, OOD)에 대한 공격에 취약하다는 점이 큰 우려를 낳고 있습니다. 기존의 안전성 확보 방법 중 하나인 거절 훈련(Refusal Training, RT)은 다양한 OOD 공격에 대한 일반화 능력이 부족하다는 한계를 드러냈습니다.

왕하우유(Haoyu Wang) 등 연구진이 발표한 논문 "Leveraging Reasoning with Guidelines to Elicit and Utilize Knowledge for Enhancing Safety Alignment"는 이러한 문제를 해결하기 위한 새로운 접근법을 제시합니다. 연구진은 OOD 공격이 RT 모델의 능력을 실제로 넘어서는지에 대한 의문에서 출발하여, BoN(Bayesian Optimization Network)을 이용한 평가를 통해 모델이 충분한 안전 관련 잠재 지식을 가지고 있음에도 불구하고 RT는 이를 효과적으로 활용하지 못한다는 것을 발견했습니다.

더 나아가, 연구진은 도메인 적응(domain adaptation) 분석을 통해 직접적인 거절 훈련이 표면적인 지름길에 의존하게 만들어, 안정적이지 못한 표현 매핑(representation mappings)을 학습하게 한다는 점을 밝혀냈습니다. 이러한 분석 결과를 바탕으로, 연구진은 각 질의에 대한 안전성 추론을 수행하도록 모델을 훈련하는 새로운 방법을 제안했습니다.

핵심은 추론 감독(Reasoning supervision) 입니다. 미리 정의된 지침(pre-guidelines)을 기반으로 생성된 추론 감독을 통해 모델은 더 많은 계산을 수행하고, 다양한 관점에서 잠재 지식을 명시적으로 유도하고 활용하도록 유도됩니다. 이는 모델이 단순히 표면적인 패턴을 학습하는 것을 넘어, 더욱 심층적이고 안정적인 안전성 추론을 가능하게 합니다.

광범위한 실험 결과, 연구진의 방법은 OOD 공격에 대한 일반화 성능을 크게 향상시키는 것으로 나타났습니다. 이는 안전한 LLM 개발을 위한 중요한 진전으로, 향후 AI 안전성 연구에 큰 영향을 미칠 것으로 기대됩니다. 하지만, 더욱 다양한 OOD 공격 시나리오에 대한 추가적인 검증과 실제 응용 환경에서의 성능 평가가 필요할 것입니다.