RoMA: 원격 감지 분야를 위한 Mamba 기반 초거대 모델 확장의 혁신

RoMA는 Mamba 기반의 원격 감지 초거대 모델을 위한 확장 가능한 자기 지도 학습 프레임워크로, 고해상도 이미지 처리의 어려움을 극복하고 다양한 작업에서 우수한 성능을 보입니다. 회전 인식 사전 훈련 및 다중 스케일 토큰 예측 목표를 통해 효율성과 정확도를 모두 향상시켰으며, 향후 원격 감지 및 다른 분야의 초거대 모델 개발에 중요한 기여를 할 것으로 기대됩니다.

최근 비전 트랜스포머(ViT)를 위한 자기 지도 학습의 발전은 원격 감지(RS) 기반 모델에 획기적인 발전을 가져왔습니다. 하지만, 자기 주의 메커니즘의 이차 복잡도는 특히 대규모 모델과 고해상도 이미지에 대한 확장성에 심각한 장벽이 되고 있습니다. 선형 복잡도를 가진 Mamba 아키텍처는 유망한 대안을 제공하지만, 기존 Mamba의 RS 응용은 소규모의 특정 도메인 데이터셋에 대한 지도 학습 작업으로 제한되어 왔습니다.

중국과학원 자동화연구소(IA CAS) 소속 Fengxiang Wang 등 11명의 연구원은 이러한 문제를 해결하기 위해 대규모 다양한 비표시 데이터를 사용하여 Mamba 기반 RS 기반 모델의 확장 가능한 자기 지도 학습을 가능하게 하는 프레임워크인 RoMA를 제안했습니다. RoMA는 고해상도 이미지에 대한 확장성을 향상시키기 위해 맞춤형 자동 회귀 학습 전략을 채택하여 두 가지 핵심적인 혁신을 통합했습니다.

1. 회전 인식 사전 훈련 메커니즘: 임의의 방향을 가진 드물게 분포된 객체를 처리하기 위해 적응형 자르기와 각도 임베딩을 결합합니다.
2. 다중 스케일 토큰 예측 목표: RS 영상에 고유한 객체 스케일의 극단적인 변화를 해결합니다.

체계적인 실험 연구를 통해 Mamba가 RS 데이터 및 매개변수 스케일링 법칙을 준수하며, 모델과 데이터 크기가 증가함에 따라 성능이 안정적으로 확장됨을 확인했습니다. 또한, 장면 분류, 객체 탐지, 의미 분할 작업에 대한 실험을 통해 RoMA로 사전 훈련된 Mamba 모델이 정확도와 계산 효율성 모두에서 ViT 기반 모델보다 꾸준히 우수한 성능을 보임을 입증했습니다. 소스 코드와 사전 훈련된 모델은 https://github.com/MiliLab/RoMA에서 공개될 예정입니다.

RoMA는 단순히 기존 모델의 확장을 넘어, 원격 감지 분야에서 초거대 모델의 활용 가능성을 넓히는 획기적인 연구입니다. 고해상도 이미지 처리의 어려움을 극복하고, 다양한 작업에서 우수한 성능을 보이는 RoMA는 향후 원격 감지 기술 발전에 중요한 기여를 할 것으로 기대됩니다. 특히, 회전 인식 사전 훈련 메커니즘과 다중 스케일 토큰 예측 목표는 다른 분야의 초거대 모델 개발에도 시사하는 바가 큽니다.