InDRiVE: 호기심 기반 일반화 세계 모델을 통한 차량 탐색을 위한 내재적 불일치 강화 학습

InDRiVE는 내재적 불일치 기반 보상을 활용하여 데이터 효율성과 일반화 능력을 획기적으로 향상시킨 자율주행 시스템입니다. 기존 모델 대비 훨씬 적은 훈련 단계로 높은 성공률을 달성하며, 자율주행 분야의 새로운 가능성을 제시합니다.

자율주행의 새로운 지평을 열다: InDRiVE

데이터 효율성과 강건성이 중요한 자율주행 분야에서 모델 기반 강화 학습(MBRL)이 주목받고 있습니다. 하지만 기존 MBRL은 특정 작업에 맞춰 설계된 외재적 보상에 의존하는 경우가 많아 새로운 작업이나 환경에 대한 일반화 능력이 제한적이었습니다.

Feeza Khan Khanzada와 Jaerock Kwon이 이끄는 연구팀은 이러한 한계를 극복하기 위해 InDRiVE (Intrinsic Disagreement based Reinforcement for Vehicle Exploration) 를 제안했습니다. InDRiVE는 Dreamer 기반 MBRL 프레임워크 내에서 순수하게 내재적인, 불일치 기반 보상을 활용합니다. 세계 모델들의 앙상블을 훈련하여, 에이전트는 어떤 작업 관련 피드백 없이도 환경의 불확실성이 높은 영역을 적극적으로 탐색합니다.

이러한 접근 방식은 작업에 독립적인 잠재 표현을 생성하여 차선 유지 및 충돌 회피와 같은 다운스트림 주행 작업에 대한 제로샷 또는 퓨샷 미세 조정을 가능하게 합니다. 실험 결과, InDRiVE는 DreamerV2 및 DreamerV3 기준 모델에 비해 훨씬 적은 훈련 단계에도 불구하고, 알려진 환경과 알려지지 않은 환경 모두에서 더 높은 성공률과 더 적은 위반 사항을 달성했습니다.

InDRiVE의 핵심은 순수하게 내재적인 탐색을 통해 강건한 차량 제어 행동을 학습한다는 점입니다. 이는 확장 가능하고 적응력이 뛰어난 자율주행 시스템을 향한 중요한 발걸음입니다. InDRiVE는 단순히 자율주행 기술의 발전을 넘어, 데이터 효율성과 일반화 능력을 동시에 향상시키는 새로운 강화학습 패러다임을 제시하며, 다양한 분야에서의 응용 가능성을 열어줍니다. 앞으로 InDRiVE를 기반으로 한 더욱 발전된 자율주행 기술이 등장할 것으로 기대됩니다.

주요 내용 요약:

• InDRiVE: 외재적 보상 없이 내재적 불일치 기반 보상을 활용한 MBRL 기반 자율주행 시스템
• Dreamer 기반 프레임워크 내에서 세계 모델 앙상블을 이용한 불확실성 높은 영역 탐색
• 작업에 독립적인 잠재 표현 생성을 통한 제로샷/퓨샷 학습 가능성
• 알려진/알려지지 않은 환경 모두에서 기존 모델 대비 높은 성공률과 적은 위반 사항 달성
• 순수 내재적 탐색 기반의 강건한 차량 제어 학습