LearningFlow: 대규모 언어 모델 기반 도시 자율주행 정책 학습의 혁신


중국과학기술대학 연구진이 개발한 LearningFlow는 대규모 언어 모델(LLM)을 활용하여 도시 자율주행을 위한 자동화된 정책 학습 워크플로우를 제공합니다. CARLA 시뮬레이터 실험 결과, 기존 방법 대비 우수한 성능과 일반화 능력을 보이며 자율주행 기술의 혁신을 이끌 것으로 기대됩니다.

related iamge

LearningFlow: 대규모 언어 모델이 이끄는 자율주행의 미래

자율주행 기술의 발전은 인공지능, 특히 강화학습(Reinforcement Learning, RL)의 혁신에 크게 의존합니다. 하지만 복잡한 도시 환경에서 안전하고 효과적인 자율주행 정책을 학습하는 데는 여전히 많은 난관이 존재합니다. 수동으로 보상 함수를 설계해야 하는 번거로움과 낮은 샘플 효율성이 주요 걸림돌이었습니다.

중국과학기술대학 연구진(Zengqi Peng, Yubin Wang, Xu Han, Lei Zheng, Jun Ma) 이 개발한 LearningFlow는 이러한 문제에 대한 획기적인 해결책을 제시합니다. LearningFlow는 대규모 언어 모델(LLM) 의 협업을 통해 자동화된 정책 학습 워크플로우를 구축한 혁신적인 시스템입니다. 단순히 RL 알고리즘을 개선하는 것을 넘어, LLM을 활용하여 커리큘럼 생성 과정과 보상 생성 과정을 자동화함으로써 RL 학습 과정 자체를 혁신적으로 개선했습니다.

LearningFlow는 각 과정마다 학습 진행 상황을 평가하고 생성 에이전트에 중요한 통찰력을 제공하는 분석 에이전트를 포함합니다. 이러한 LLM 에이전트들의 협력을 통해, LearningFlow는 복잡한 도시 주행 과제에 걸쳐 정책 학습을 자동화하고, 수동적인 보상 함수 설계에 대한 의존성을 줄이며 샘플 효율성을 향상시킵니다.

고충실도 CARLA 시뮬레이터에서 진행된 실험 결과는 LearningFlow의 놀라운 성능을 보여줍니다. 기존 방법과의 비교를 통해, LearningFlow가 보상 및 커리큘럼 생성에서 뛰어난 성능을 발휘하며, 다양한 주행 과제에 대한 우수한 성능과 강건한 일반화 능력을 갖추고 있음을 입증했습니다. 뿐만 아니라, 다양한 RL 알고리즘에 대한 적응력 또한 뛰어납니다.

LearningFlow는 단순한 기술적 진보를 넘어, 자율주행 기술의 상용화를 앞당길 잠재력을 지닌 혁신적인 시스템입니다. LLM의 활용을 통해 RL의 한계를 극복하고, 더욱 안전하고 효율적인 자율주행 시스템 구축의 길을 열었습니다. 앞으로 LearningFlow의 발전과 실제 환경 적용에 대한 귀추가 주목됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] LearningFlow: Automated Policy Learning Workflow for Urban Driving with Large Language Models

Published:  (Updated: )

Author: Zengqi Peng, Yubin Wang, Xu Han, Lei Zheng, Jun Ma

http://arxiv.org/abs/2501.05057v1