자율주행의 눈을 밝히다: H-MBA 프레임워크로 멀티모달 비디오 이해의 새 지평 열다
Siran Chen 등 연구진이 개발한 H-MBA 프레임워크는 자율주행 환경의 복잡한 멀티모달 비디오 데이터를 효과적으로 분석하여 위험 물체 감지 성능을 획기적으로 향상시켰습니다. C-Mamba와 Q-Mamba 모듈을 통해 다양한 시간적 해상도의 비디오 컨텍스트를 적응적으로 통합하는 것이 핵심입니다.

멀티모달 대규모 언어 모델(MLLM)의 발전으로 자율주행 분야는 새로운 기회와 도전에 직면했습니다. 특히, 자율주행 과정에서 발생할 상황을 예측하고 이해하는 멀티모달 비디오 이해는 매우 중요해졌습니다.
하지만, 역동적인 자율주행 환경의 비디오는 복잡한 시공간적 움직임을 포함하고 있어 기존 MLLM의 일반화 능력을 제한하는 걸림돌이 되어왔습니다. 이러한 문제를 해결하기 위해, Siran Chen 등 연구진은 계층적 맘바 적응(Hierarchical Mamba Adaptation, H-MBA) 프레임워크를 제안했습니다.
H-MBA는 컨텍스트 맘바(C-Mamba)와 쿼리 맘바(Q-Mamba) 라는 두 개의 모듈로 구성됩니다. C-Mamba는 다양한 유형의 구조적 상태 공간 모델을 포함하여 다양한 시간적 해상도에 대한 다중 그래뉼러리티 비디오 컨텍스트를 효과적으로 포착합니다. Q-Mamba는 현재 프레임을 학습 가능한 쿼리로 변환하고, 주의 메커니즘을 통해 다중 그래뉼러리티 비디오 컨텍스트를 쿼리에 선택적으로 통합합니다. 즉, 다양한 시간적 해상도의 비디오 컨텍스트를 적응적으로 통합하여 비디오 이해 능력을 향상시키는 것입니다.
H-MBA는 MLLM에 플러그 앤 플레이 방식으로 통합되어 자율주행 환경에서의 멀티모달 비디오 작업 성능을 크게 향상시켰습니다. 특히, 위험 물체 감지 작업에서 기존 최고 성능(SOTA) 방법보다 mIoU(Mean Intersection over Union)가 5.5% 향상되는 놀라운 결과를 보였습니다. 이는 H-MBA가 복잡한 자율주행 환경에서도 안정적이고 정확한 비디오 이해를 가능하게 함을 보여주는 획기적인 성과입니다.
이 연구는 자율주행 기술 발전에 중요한 기여를 할 뿐만 아니라, 멀티모달 비디오 이해 분야 전반에 걸쳐 혁신적인 영향을 미칠 것으로 기대됩니다. 앞으로 H-MBA를 기반으로 더욱 발전된 자율주행 시스템이 개발될 가능성이 높습니다.
Reference
[arxiv] H-MBA: Hierarchical MamBa Adaptation for Multi-Modal Video Understanding in Autonomous Driving
Published: (Updated: )
Author: Siran Chen, Yuxiao Luo, Yue Ma, Yu Qiao, Yali Wang
http://arxiv.org/abs/2501.04302v1