DEIM: 실시간 객체 탐지의 새로운 기준을 제시하다
DEIM은 Dense O2O 매칭과 Matchability-Aware Loss를 통해 DETR의 수렴 속도를 획기적으로 개선하고, COCO 데이터셋에서 뛰어난 성능을 달성했습니다. 추가 데이터 없이도 기존 최고 성능 모델들을 능가하며 실시간 객체 탐지 분야의 새로운 기준을 제시합니다.

최근 발표된 DEIM(DETR with Improved Matching for Fast Convergence) 논문이 실시간 객체 탐지 분야에 새로운 돌풍을 일으키고 있습니다. Huang Shihua 등 연구진이 개발한 DEIM은 기존 Transformer 기반 객체 탐지 모델인 DETR의 가장 큰 약점으로 지적되어 온 느린 수렴 속도 문제를 획기적으로 개선한 훈련 프레임워크입니다.
DEIM의 핵심 전략: Dense O2O 매칭과 Matchability-Aware Loss
DEIM의 핵심은 두 가지 전략에 있습니다. 첫째, Dense O2O (One-to-One) 매칭은 기존 DETR의 O2O 매칭 방식을 개선하여 이미지당 양성 샘플 수를 늘리는 방법입니다. 데이터 증강 기법을 활용하여 추가적인 타겟을 생성함으로써, 모델 학습에 필요한 양질의 데이터를 효율적으로 확보합니다. 하지만 단순히 양성 샘플을 늘리는 것은 낮은 품질의 매칭을 증가시키는 부작용을 야기할 수 있습니다.
이러한 문제점을 해결하기 위해 연구진은 Matchability-Aware Loss (MAL) 라는 새로운 손실 함수를 제안했습니다. MAL은 다양한 품질 수준의 매칭을 최적화하여, Dense O2O 매칭의 효율성을 극대화하고 낮은 품질의 매칭으로 인한 부정적인 영향을 최소화합니다.
놀라운 성능 향상과 훈련 시간 단축
COCO 데이터셋을 이용한 실험 결과는 DEIM의 놀라운 효과를 증명합니다. RT-DETR 및 D-FINE과의 통합을 통해 성능은 향상시키는 동시에 훈련 시간을 무려 50%나 단축했습니다. 특히 RT-DETRv2와 결합하여 NVIDIA 4090 GPU에서 단 하루 만에 53.2% AP(Average Precision)를 달성한 것은 매우 주목할 만한 성과입니다.
더욱 놀라운 것은 추가 데이터 없이도 DEIM으로 훈련된 실시간 모델들이 기존 최고 성능의 실시간 객체 탐지 모델들을 뛰어넘는 결과를 보였다는 점입니다. DEIM-D-FINE-L과 DEIM-D-FINE-X는 NVIDIA T4 GPU에서 각각 124 FPS와 78 FPS로 54.7%와 56.5% AP를 달성했습니다.
새로운 가능성을 여는 DEIM
DEIM은 단순한 성능 향상을 넘어, 실시간 객체 탐지 분야의 새로운 기준을 제시합니다. 빠른 수렴 속도와 높은 정확도를 동시에 달성함으로써, 실시간 응용 분야에서의 활용 가능성을 크게 확장시킬 것으로 기대됩니다. 연구진은 DEIM의 코드와 사전 훈련된 모델을 GitHub(https://github.com/ShihuaHuang95/DEIM)에서 공개하여, 더 많은 연구자들이 DEIM을 활용하고 발전시킬 수 있도록 지원하고 있습니다. DEIM의 등장은 앞으로 실시간 객체 탐지 기술의 발전에 큰 영향을 미칠 것으로 예상됩니다.
Reference
[arxiv] DEIM: DETR with Improved Matching for Fast Convergence
Published: (Updated: )
Author: Shihua Huang, Zhichao Lu, Xiaodong Cun, Yongjun Yu, Xiao Zhou, Xi Shen
http://arxiv.org/abs/2412.04234v1