화재 현장의 AI: Fire360 벤치마크 - 안전을 위한 새로운 도전

AI의 안전성을 평가하는 새로운 벤치마크 Fire360이 소개되었습니다. 실제 소방 훈련 영상을 기반으로 제작된 이 데이터셋은 열악한 환경에서의 AI의 인식 및 추론 능력을 평가하는 다양한 과제를 제공하며, AI 기술의 안전성 향상과 소방 활동의 안전에 기여할 것으로 기대됩니다.

매년 수많은 소방관들이 현장에서 부상을 당합니다. 시야 확보가 어렵고, 구조물이 훼손된 열악한 환경 속에서 정확한 상황 판단은 생사를 가르는 문제입니다. 첨단 AI 기술이 발전했지만, 연기와 열기, 낮은 시야 확보 등의 극한 상황에서의 신뢰성은 여전히 과제로 남아있습니다. 이러한 문제의식 속에, Aditi Tiwari를 비롯한 6명의 연구진이 개발한 Fire360 벤치마크 데이터셋이 등장했습니다.

Fire360은 실제 소방 훈련 영상을 바탕으로 제작된 360도 영상 데이터셋으로, 저조도, 열 변형 등 다양한 열악한 환경에서 촬영되었습니다. 데이터셋에는 228개의 360도 영상과 함께 행동, 객체 위치, 열화 메타데이터 등의 주석이 포함되어 있습니다.

이 데이터셋을 통해 연구자들은 다음과 같은 다섯 가지 과제에 도전할 수 있습니다.

• 시각적 질의응답 (Visual Question Answering): 영상에 대한 질문에 대한 답변 생성
• 시간적 행동 캡션 (Temporal Action Captioning): 영상 내 행동을 설명하는 캡션 생성
• 객체 위치 파악 (Object Localization): 영상 내 특정 객체의 위치 식별
• 안전 중요 추론 (Safety-Critical Reasoning): 안전과 직결되는 상황 판단
• 변환된 객체 검색 (Transformed Object Retrieval, TOR): 손상된 객체를 원본 객체와 매칭하는 능력 평가

특히 TOR 과제는 모델의 변환 불변 인식 능력을 평가합니다. 흥미로운 점은, 사람 전문가의 TOR 정확도는 83.5%인 반면, GPT-4와 같은 최첨단 모델은 상당히 낮은 성능을 보였다는 것입니다. 이는 열악한 환경에서의 추론 능력에 대한 AI의 한계를 명확히 보여줍니다.

Fire360 데이터셋과 평가 도구의 공개를 통해 연구자들은 불확실성 속에서도 보고, 기억하고, 추론하고, 행동하는 AI 모델 개발에 한층 더 도전할 수 있게 되었습니다. 데이터셋은 https://uofi.box.com/v/fire360dataset 에서 다운로드 가능합니다. AI 기술의 안전성 향상과 소방 활동의 안전성 확보에 기여할 이 벤치마크의 활약을 기대해봅니다.