딥러닝으로 자율주행의 난제를 극복하다: 부분 인식 결함 극복을 위한 혁신적인 LLM-RCO 프레임워크

본 논문은 자율주행 자동차의 부분적인 인식 결함 문제를 해결하기 위해 대규모 언어 모델(LLM)을 활용한 LLM-RCO 프레임워크를 제안합니다. CARLA 시뮬레이터를 이용한 실험 결과, LLM-RCO는 악조건에서 주행 성능을 향상시키고 더욱 적극적인 움직임을 가능하게 하여 자율 주행의 안전성과 효율성을 높이는 것으로 나타났습니다.

자율주행 자동차는 미래의 교통 시스템을 혁신적으로 바꿀 기술로 주목받고 있지만, 여전히 극복해야 할 난제들이 존재합니다. 특히, 환경 인식에 있어 부분적인 결함은 자율주행 자동차의 안전을 심각하게 위협하는 요소입니다. 기존의 자율주행 시스템은 이러한 상황에 직면했을 때 즉각적인 정지 또는 최소 위험 기동으로 대응하여 교통 흐름을 악화시키고 희귀한 상황에 대한 유연성을 떨어뜨리는 한계를 가지고 있습니다.

중국과학기술대학을 중심으로 한 연구팀(Yuting Hu, Chenhui Xu, Ruiyang Qin, Dancheng Liu, Amir Nassereldine, Yiyu Shi, Jinjun Xiong)은 이러한 문제를 해결하기 위해 LLM-RCO라는 획기적인 프레임워크를 제안했습니다. 이 프레임워크는 대규모 언어 모델(LLM) 을 활용하여 인간과 유사한 상식적 판단을 자율주행 시스템에 통합하는 것을 목표로 합니다.

LLM-RCO는 위험 추론, 단기 운동 계획, 행동 조건 검증, 안전 제약 생성 등 네 가지 주요 모듈로 구성되어 있습니다. 이러한 모듈은 역동적인 주행 환경과 상호 작용하여 사전 예방적이고 상황 인식적인 제어 행동을 통해 자율 주행 에이전트의 원래 제어 정책을 재정의합니다.

연구팀은 안전성을 더욱 향상시키기 위해 DriveLM-Deficit이라는 새로운 데이터셋을 구축했습니다. DriveLM-Deficit은 안전에 중요한 물체의 인식 결함이 있는 53,895개의 비디오 클립으로 구성되어 있으며, LLM 기반 위험 추론 및 운동 계획 미세 조정을 위한 주석이 포함되어 있습니다.

CARLA 시뮬레이터를 사용한 광범위한 실험 결과, LLM-RCO를 탑재한 시스템은 악조건에서 주행 성능을 크게 향상시키는 것으로 나타났습니다. 특히, LLM-RCO는 인식 결함 상황에서 보수적인 정지 대신 보다 적극적인 움직임을 가능하게 하여 자율 주행의 안전성과 효율성을 동시에 향상시킬 수 있는 잠재력을 보여주었습니다. 이 연구는 자율 주행 기술의 안전성과 신뢰성을 한 단계 더 높이는 중요한 이정표를 제시합니다. LLM-RCO 프레임워크는 부분적인 인식 결함이라는 자율주행의 난제를 극복하고, 더욱 안전하고 효율적인 자율주행 시스템 구현에 기여할 것으로 기대됩니다.