교통 안전의 미래를 여는 혁신: 다중 모달 AI가 만드는 안전한 도로

본 기사는 다중 모달 대규모 언어 모델(MLLM)을 활용한 새로운 교통사고 분석 프레임워크 SeeUnsafe에 대한 소개입니다. SeeUnsafe는 기존의 단순 정보 추출 방식을 넘어 대화형 분석을 가능하게 하여 처리 속도 향상과 다양한 상황에 대한 적응력을 높였으며, 새로운 성능 평가 지표 IMS를 도입하여 시스템의 정확성을 향상시켰습니다. 이는 교통 안전 향상에 크게 기여할 것으로 기대됩니다.

끊임없이 쏟아지는 교통 영상 데이터 속에서 사고 분석의 어려움은 날로 증가하고 있습니다. 수많은 CCTV 영상을 24시간 분석하는 것은 현재의 기술로는 매우 어려운 과제입니다. 기존의 영상 분석 시스템은 차량 궤적이나 개별 물체 감지를 중심으로 정보를 추출하지만, 실제로 활용 가능한 통찰력을 얻으려면 많은 후처리가 필요합니다.

하지만 이제 희망이 보입니다. Ruixuan Zhang 등 연구진이 개발한 SeeUnsafe이라는 새로운 프레임워크가 등장했기 때문입니다. SeeUnsafe는 다중 모달 대규모 언어 모델 (MLLM) 을 활용하여 기존의 단순한 정보 추출 방식에서 벗어나, 더욱 상호 작용적이고 대화적인 접근 방식을 제시합니다.

SeeUnsafe의 핵심은 바로 MLLM의 활용입니다. MLLM 에이전트를 통해 비디오 분류 및 시각적 근거 생성과 같은 복잡한 작업이 자동화됩니다. 이는 처리 속도를 획기적으로 높일 뿐만 아니라, 다양한 교통 상황과 사용자의 질문에 유연하게 대처할 수 있도록 합니다. 길이가 다른 다양한 영상을 효율적으로 처리하기 위해 중요도 기반의 집계 전략도 함께 사용됩니다. 또한, 검토 및 평가를 위한 구조화된 응답을 생성하고, 정밀한 시각적 근거를 가능하게 하는 새로운 다중 모달 프롬프트를 도입했습니다.

SeeUnsafe의 성능 평가를 위해 연구진은 IMS(Information Matching Score) 라는 새로운 지표를 개발했습니다. IMS는 MLLM 기반 지표로, 구조화된 응답과 실제 상황 간의 일치도를 정확하게 측정합니다. Toyota Woven Traffic Safety 데이터셋을 사용한 실험 결과, SeeUnsafe는 기존의 MLLM을 활용하여 효과적으로 사고 인식 비디오 분류 및 시각적 근거 생성을 수행하는 것으로 나타났습니다. 소스 코드는 GitHub에서 확인할 수 있습니다.

SeeUnsafe는 단순한 기술적 발전을 넘어, 더 안전하고 효율적인 교통 시스템 구축이라는 중요한 사회적 의미를 지닙니다. 24시간 교통 영상 분석의 자동화를 통해 인적 자원을 절약하고, 사고 분석의 정확성과 속도를 높임으로써, 교통 사고 예방 및 안전한 도로 환경 조성에 크게 기여할 것으로 기대됩니다. 앞으로 SeeUnsafe의 발전과 활용이 교통 안전 분야에 어떤 변화를 가져올지 주목할 만합니다.