3D 객체 탐지의 혁신: Transformer와 State Space Model의 만남, DEST 모델

Chuxin Wang 외 연구진이 개발한 DEST 모델은 Transformer와 State Space Model을 결합하여 3D 객체 탐지의 새로운 패러다임을 제시합니다. 선형 복잡도로 성능을 향상시킨 이 모델은 ScanNet V2와 SUN RGB-D 데이터셋에서 SOTA를 달성하며, 향후 3D 객체 탐지 기술 발전에 크게 기여할 것으로 기대됩니다.

최근 3D 실내 객체 탐지 분야에서 주목받는 DETR 기반 방법들은 다층 Transformer 디코더를 사용하여 객체 쿼리를 반복적으로 개선합니다. 하지만 기존 방법들은 Transformer 디코더 내 장면 점 특징이 고정되어 후반 디코더 레이어의 기여도가 낮아 성능 향상에 한계가 있었습니다.

이러한 문제를 해결하고자 Wang, Yang, Liu, Zhang 등 연구진은 상호작용적 상태 공간 모델(Interactive State Space Model) 을 기반으로 한 새로운 3D 객체 탐지 패러다임 DEST(DEtection with interactive STate space model) 를 제안했습니다. DEST는 상태 종속 SSM 매개변수화 기법을 통해 시스템 상태를 3D 실내 탐지 작업의 쿼리로 효과적으로 활용합니다.

또한, 연구진은 점 구름과 SSM의 특성에 맞춘 네 가지 핵심 설계를 도입했습니다. 직렬화 및 양방향 스캔 전략은 SSM 내에서 장면 점들 간의 양방향 특징 상호작용을 가능하게 합니다. 상태 간 어텐션 메커니즘은 상태 점들 간의 관계를 모델링하고, 게이트된 피드포워드 네트워크는 채널 간 상관관계를 향상시킵니다.

DEST는 시스템 상태를 쿼리로, 장면 점을 시스템 입력으로 모델링하는 최초의 방법입니다. 이를 통해 선형 복잡도로 장면 점 특징과 쿼리 특징을 동시에 업데이트하여 효율성을 높였습니다. ScanNet V2와 SUN RGB-D 두 개의 어려운 데이터셋에 대한 광범위한 실험을 통해 DEST 기반 방법의 효과를 입증했습니다. GroupFree 기준선 대비 ScanNet V2에서 AP50이 +5.3, SUN RGB-D에서 +3.2 향상되었으며, VDETR 기준선을 기반으로 ScanNetV2와 SUN RGB-D 데이터셋에서 새로운 최고 성능(SOTA)을 달성했습니다.

DEST 모델은 3D 객체 탐지 분야에 새로운 가능성을 제시하며, 향후 관련 연구에 중요한 영향을 미칠 것으로 기대됩니다. 선형 복잡도를 유지하면서 성능을 향상시킨 이 기술은 자율주행, 로보틱스 등 다양한 분야에 적용될 수 있을 것으로 예상됩니다. 앞으로 DEST 모델을 기반으로 한 더욱 발전된 연구들이 기대됩니다!