덜이 많다? 사이버 방어를 위한 강화학습에서 희소 보상의 효과

본 연구는 딥 강화학습 기반 사이버 방어 에이전트의 효율성 향상을 위해 희소 보상(Sparse Reward)의 효과를 평가한 결과, 희소 보상이 밀집 보상보다 더 효과적이며 안정적인 훈련을 제공함을 밝혔습니다. 다양한 네트워크 크기와 방어 전략에 대한 실험을 통해 희소 보상의 우수성을 검증하였으며, 향후 AI 기반 사이버 보안 시스템 개발에 중요한 시사점을 제공합니다.

최근 몇 년 동안 딥 강화학습(Deep Reinforcement Learning) 기반의 자율 사이버 방어 에이전트에 대한 관심이 폭발적으로 증가했습니다. 이러한 에이전트는 일반적으로 사이버 시뮬레이터 환경에서 훈련되는데, 이미 32개 이상의 사이버 시뮬레이터가 구축되었습니다. 대부분의 사이버 시뮬레이터는 다양한 바람직하지 않은 상태와 비용이 많이 드는 행동에 대한 많은 패널티 또는 인센티브를 결합한 '밀집된(Dense)' 보상 함수를 제공합니다.

밀집 보상은 복잡한 환경 탐색의 어려움을 완화하고, 상대적으로 적은 환경 단계에서 효과적인 전략을 얻는 데 도움이 됩니다. 하지만, 밀집 보상은 에이전트가 찾을 수 있는 솔루션에 편향을 일으켜, 최적이 아닌 솔루션으로 이어질 수 있다는 단점이 있습니다. 특히 적대자에 의해 약점이 악용될 때까지 정책상의 약점이 발견되지 않을 수 있는 복잡한 사이버 환경에서는 더욱 그렇습니다.

Elizabeth Bates, Chris Hicks, Vasilios Mavroudis 등 연구진은 이러한 문제를 해결하기 위해 희소 보상(Sparse Reward) 함수가 더 효과적인 사이버 방어 에이전트를 훈련하는 데 기여할 수 있는지 평가하는 연구를 진행했습니다. 연구진은 먼저 기존 연구의 여러 평가 한계를 분석하고, 에이전트를 훈련하고 평가하는 데 사용되는 표준 강화학습 패러다임을 넘어서는 객관적인 평가 점수(Ground Truth Evaluation Score) 를 제안했습니다.

잘 확립된 사이버 시뮬레이터를 연구진의 방법론과 객관적인 평가 점수를 수용하도록 조정하여, 두 가지 희소 보상 메커니즘을 제안하고 평가하여 일반적인 밀집 보상과 비교했습니다. 평가는 2개에서 50개 노드까지 다양한 네트워크 크기와 반응적 및 사전 예방적 방어 조치를 고려했습니다.

결과적으로, 특히 무결점 네트워크 상태에 대한 긍정적 강화가 포함된 희소 보상은 더 효과적인 사이버 방어 에이전트를 훈련하는 데 기여하는 것으로 나타났습니다. 또한, 희소 보상은 밀집 보상보다 더 안정적인 훈련을 제공하며, 효과와 훈련 안정성 모두 다양한 사이버 환경적 고려 사항에 강력하다는 것을 보여주었습니다. 즉, '덜(희소 보상)'이 '많은(밀집 보상)'보다 사이버 방어 에이전트 훈련에 더 효과적일 수 있다는 것을 시사합니다. 이 연구는 향후 AI 기반 사이버 보안 시스템 개발에 중요한 시사점을 제공합니다.