딥 강화 학습 기반의 강인한 파워트레인 제어: 모델 기반 제어의 힘

요네자와 헤이세이, 요네자와 안세이, 카지와라 이츠로 연구팀은 도메인 랜덤화, LSTM, 모델 기반 제어를 결합한 딥 강화 학습 기반의 새로운 강인한 제어 방식을 제안하여 비선형 파워트레인 제어 문제를 해결했습니다. 작은 신경망과 적은 훈련 데이터로 높은 성능을 달성하며, 실제 시스템 적용을 통해 그 효과를 검증했습니다.

딥 강화 학습이 파워트레인 제어의 난제를 극복하다!

자동차 파워트레인과 같은 복잡한 기계 시스템은 본질적으로 매개변수 변화로 인한 다양한 비선형성과 불확실성의 영향을 받습니다. 모델링 및 교정 오류는 불가피하며, 이로 인해 시뮬레이션 환경에서 실제 시스템으로 제어 시스템을 전이하는 것은 매우 어려운 과제입니다. 전통적인 강인 제어 방식은 특정 유형의 비선형성과 불확실성을 처리하는 데 한계가 있습니다. 더욱 실용적인 접근 방식이 필요한 시점입니다.

요네자와 헤이세이, 요네자와 안세이, 그리고 카지와라 이츠로 연구팀은 딥 강화 학습(DRL)을 기반으로 하는 새로운 강인한 제어 방식을 제안했습니다. 이 연구의 핵심 전략은 도메인 랜덤화 기반 DRL, LSTM 기반 액터-크리틱 네트워크, 그리고 모델 기반 제어(MBC) 의 시너지 효과에 있습니다. 이들은 불확실성과 비선형성을 고려한 제어 시스템을 위해 잠재 마르코프 의사결정 과정(LMDP)으로 문제를 모델링했습니다.

LMDP에서 환경 시뮬레이터의 동역학은 훈련 중에 무작위화되어 실제 테스트 환경에 대한 제어 시스템의 강인성을 향상시킵니다. 하지만 이러한 무작위화는 훈련의 어려움과 결과 제어 시스템의 보수성을 증가시키기 때문에, 명목 시스템 모델을 기반으로 하는 모델 기반 제어기를 병행하여 사용함으로써 이러한 문제를 해결했습니다.

기존 DRL 기반 제어 방식과 비교하여, 이 새로운 제어기 설계는 더욱 작은 신경망 구조와 적은 양의 훈련 데이터로 높은 수준의 일반화 능력을 달성한다는 점에서 매우 효율적입니다. 연구팀은 비선형성과 매개변수 변화를 가진 복잡한 파워트레인 시스템에 대한 능동적 감쇠 제어에 이 방법을 적용하여 그 효과를 검증했습니다. 비교 테스트 결과, 이 제안된 방법의 높은 강인성을 확인했습니다.

이 연구는 단순히 새로운 제어 알고리즘을 제시하는 것을 넘어, 복잡한 시스템 제어에서 DRL의 실용적인 적용 가능성을 보여주는 중요한 사례입니다. 앞으로 더욱 다양한 분야에서 DRL 기반의 강인한 제어 시스템의 발전이 기대됩니다.