혁신적인 안전 신경망 훈련: 혼합 정수 선형 계획법(MILP) 기반 접근법

Chung과 Kousik 연구팀은 혼합 정수 선형 계획법(MILP)과 하이브리드 조노토프 도달 가능성 분석을 활용하여 비볼록 안전하지 않은 영역을 피하도록 신경망을 훈련하는 새로운 방법을 제시했습니다. 이 방법은 기존의 안전성 검증 및 훈련 방법의 한계를 극복하고, 안전에 민감한 분야에서 신뢰할 수 있는 AI 시스템 구축에 기여할 것으로 기대됩니다.

안전을 위한 딥러닝의 새로운 지평: Provably-Safe Neural Network Training

자율주행 자동차부터 의료 진단 시스템까지, 신경망은 점점 더 안전에 민감한 분야에 활용되고 있습니다. 하지만, 신경망의 출력에 제약 조건을 부여하고 안전성을 보장하는 것은 여전히 어려운 과제입니다. 기존의 많은 방법들은 신경망의 안전성을 검증하는 데 초점을 맞추었지만, '안전하지 않은' 신경망을 수정하는 방법은 제시하지 못했습니다. 또한, 검증 결과를 바탕으로 훈련 신호를 추출하는 몇몇 연구는 비볼록 집합을 처리하지 못하거나, 보수적이거나 속도가 느린 한계를 가지고 있었습니다.

Chung과 Kousik 연구팀은 이러한 문제를 해결하기 위해 획기적인 신경망 훈련 방법을 제안했습니다. 이 방법은 최근 비볼록 집합 표현에 대한 연구 결과인 혼합 정수 선형 계획법(MILP) 과 하이브리드 조노토프 도달 가능성 분석을 활용하여, ReLU 비선형성을 가진 신경망의 비볼록 입력 집합에 대한 정확한 도달 가능 영역을 제어합니다. 핵심은 비볼록한 '안전하지 않은' 영역을 피하도록 신경망을 훈련하는 것입니다.

이 방법의 가장 큰 장점은 속도입니다. 각 훈련 반복의 계산 복잡도는 뉴런 수와 입력 및 안전하지 않은 집합의 복잡도에 선형적으로 비례하는 선형 계획법(LP)을 푸는 것과 비슷합니다. 30개의 뉴런을 가진 3개의 은닉층을 가진 신경망에서, 이 방법은 55개의 생성기와 26개의 제약 조건을 가진 비볼록 입력 집합의 도달 가능 영역을 21개의 생성기와 11개의 제약 조건을 가진 비볼록 안전하지 않은 영역 밖으로 490초 만에 이동시키는 데 성공했습니다.

이는 단순히 안전성을 검증하는 것을 넘어, 안전성을 보장하는 신경망을 훈련하는 새로운 가능성을 열어주는 혁신적인 연구입니다. 향후 안전에 민감한 다양한 분야에서 신뢰할 수 있는 AI 시스템 구축에 크게 기여할 것으로 기대됩니다. 그러나, 더욱 광범위한 실제 응용 분야에 대한 추가적인 연구와 검증이 필요할 것입니다. 특히, 더욱 복잡한 시스템이나 더 큰 규모의 데이터셋에 대한 확장성 및 안정성을 검증하는 것이 중요한 과제로 남아있습니다.