안전성과 성능의 조화: 고차 시스템을 위한 학습 기반 안전 제어의 혁신

본 논문은 고차 시스템의 안전한 강화 학습 기반 제어 문제를 해결하기 위해 고차 상호 제어 장벽 함수(HO-RCBF)와 기울기 유사도 개념을 도입하여 안전성과 성능의 균형을 이루는 새로운 프레임워크를 제시합니다. 시뮬레이션 결과는 제안된 프레임워크의 효과를 입증하며, 자율주행 및 로봇 제어 등 다양한 분야에 파급 효과를 가져올 것으로 기대됩니다.

성능만을 추구하면 안전성이 저해될 수 있으며, 안전한 탐색을 위한 보수적인 정책은 성능 저하를 초래합니다. Xinyang Wang, Hongwei Zhang, Shimin Wang, Wei Xiao, Martin Guay가 공동 집필한 논문 "Learning-Enhanced Safeguard Control for High-Relative-Degree Systems: Robust Optimization under Disturbances and Faults"는 이러한 어려운 문제, 즉 학습 기반 제어에서 안전성과 성능의 균형을 어떻게 이룰 것인가에 대한 해답을 제시합니다.

이 논문은 시간에 따라 변하는 알 수 없는 외부 간섭 및 액추에이터 고장이 있는 비선형 시스템의 강화 학습(RL) 기반 최적 제어 문제에서 안전성 보장 하에 시스템 성능을 향상시키는 것을 목표로 합니다. 핵심은 바로 고차 상호 제어 장벽 함수(HO-RCBF) 와 기울기 유사도 개념의 도입입니다.

먼저, HO-RCBF는 기존의 제어 장벽 함수(CBF)를 개선하여 학습 과정에서 고차 시스템의 제약 조건을 효과적으로 처리합니다. 이는 안전성을 보장하는 핵심 기술입니다. 단순히 안전만을 추구하는 것이 아니라, 안전성을 유지하면서 성능 향상을 도모하는 것이 핵심입니다.

여기서 기울기 유사도 개념은 안전성과 성능의 기울기 간의 관계를 정량적으로 나타내는 혁신적인 아이디어입니다. 이를 통해 안전성과 성능 간의 상호작용을 명확하게 이해하고, 이를 제어 알고리즘에 반영하여 최적의 균형점을 찾을 수 있습니다. 이는 단순히 안전과 성능을 별개로 고려하는 것이 아닌, 두 요소 간의 상호 연관성을 고려하는 획기적인 접근 방식입니다.

마지막으로, 기울기 조작 및 적응 메커니즘은 안전한 강화 학습 프레임워크에 통합되어 안전성을 유지하면서 시스템 성능을 지속적으로 향상시킵니다. 이는 시스템의 동작 환경 변화에 대한 적응력을 높이고, 최적의 성능을 유지하는 데 중요한 역할을 합니다.

두 가지 시뮬레이션 예시를 통해 제안된 안전한 RL 프레임워크가 고차 제약 조건을 해결하고, 안전성을 강화하며, 시스템 성능을 향상시킬 수 있음을 보여줍니다. 이 연구는 자율주행, 로봇 제어 등 안전성이 중요한 다양한 분야에 혁신적인 영향을 미칠 것으로 기대됩니다. 이는 단순한 기술적 발전을 넘어, 안전과 성능이라는 상반된 목표를 동시에 달성하는 새로운 패러다임을 제시하는 중요한 성과입니다.