덜어낼수록 강해진다? 사이버 방어 AI 훈련의 새로운 패러다임

본 연구는 심층 강화 학습 기반 사이버 방어 에이전트 훈련에서 희소형 보상 함수의 효용성을 실험적으로 검증한 연구입니다. 기존의 밀집형 보상 함수의 한계를 극복하고, 더 효과적이고 안정적인 사이버 방어 에이전트를 훈련하는 새로운 방법을 제시합니다.

최근 몇 년 동안, 심층 강화 학습(Deep Reinforcement Learning) 기반의 자율 사이버 방어 에이전트에 대한 관심이 폭발적으로 증가했습니다. 이러한 에이전트들은 일반적으로 사이버 시뮬레이터(cyber gym) 환경에서 훈련되는데, 이미 32개 이상의 사이버 시뮬레이터가 구축되었습니다. 문제는 대부분의 사이버 시뮬레이터가 다양한 (바람직하지 않은) 상태와 비용이 드는 행동에 대한 많은 페널티 또는 인센티브를 결합한 '밀집형(dense)' 보상 함수를 사용한다는 점입니다.

밀집형 보상 함수는 복잡한 환경 탐색의 어려움을 완화하고 상대적으로 적은 환경 단계로 효과적인 전략을 도출하는 데 도움이 되지만, 에이전트가 찾을 수 있는 해결책에 편향을 일으켜 최적이 아닌 해결책으로 이어질 수 있다는 단점이 있습니다. 반면, 희소형(sparse) 보상 함수는 더 나은 해결책을 제공할 가능성이 있지만, 지금까지 사이버 시뮬레이터에서는 간과되어 왔습니다.

Elizabeth Bates, Chris Hicks, Vasilios Mavroudis 연구팀은 희소형 보상 함수가 더 효과적인 사이버 방어 에이전트를 훈련하는 데 기여하는지 평가하는 연구를 진행했습니다. 연구팀은 기존 연구의 여러 평가 제한 사항을 분석하고, 에이전트를 훈련하고 평가하는 데 사용되는 표준 RL 패러다임을 넘어서는 '객관적 지표'를 제시했습니다. 기존 사이버 시뮬레이터를 수정하여 새로운 평가 방법론과 객관적 지표를 적용하고, 두 가지 희소형 보상 메커니즘을 제안하여 일반적인 밀집형 보상 함수와 비교했습니다.

평가는 노드 수가 2개에서 50개까지 다양한 네트워크 크기와 반응적 및 사전 예방적 방어 행동 모두를 고려했습니다. 결과적으로, 특히 네트워크가 손상되지 않은 상태에 대한 긍정적 강화를 포함하는 희소형 보상 함수는 더 효과적인 사이버 방어 에이전트를 훈련하는 데 기여하는 것으로 나타났습니다. 또한, 희소형 보상 함수는 밀집형 보상 함수보다 더 안정적인 훈련을 제공하며, 효과와 훈련 안정성 모두 다양한 사이버 환경적 고려 사항에 강력하다는 것을 보여주었습니다. 이 연구는 AI 기반 사이버 보안 분야에 새로운 가능성을 제시하며, '덜어낼수록 강해진다'는 역설적인 결과를 통해 AI 개발의 새로운 패러다임을 제시합니다. 이는 단순히 많은 정보를 제공하는 것보다 핵심적인 정보에 집중하는 전략이 더 효과적임을 시사합니다.