LarvSeg: 이미지 분류 데이터 활용, 대규모 어휘 의미론적 분할의 새 지평을 열다
LarvSeg은 이미지 분류 데이터를 활용하여 대규모 어휘 의미론적 분할 문제를 해결하는 새로운 프레임워크입니다. 범주별 집중 분류기를 통해 성능을 향상시켰으며, ImageNet21K를 이용하여 21,000개 범주를 가진 모델을 최초로 구현했습니다.

대규모 어휘 의미론적 분할의 난관과 LarvSeg의 등장
대규모 어휘를 가진 의미론적 분할 모델을 구축하는 것은 매우 어려운 과제입니다. 방대한 마스크 레이블을 수동으로 주석 처리하는 작업은 많은 시간과 노력을 필요로 하기 때문입니다. 최근에는 이 문제를 해결하기 위해 언어 유도 분할 모델이 제시되었지만, 분포 외 범주에 적용하면 성능이 크게 저하되는 한계가 있었습니다.
이러한 한계를 극복하기 위해 등장한 것이 바로 LarvSeg입니다. 유호준 등 연구진이 개발한 LarvSeg는 기존 방식과는 다르게 이미지 분류 데이터를 활용하여 대규모 어휘 의미론적 분할 모델을 구축합니다. 이미지 분류 데이터셋은 일반적으로 균형 잡힌 범주를 포함하고 있으며, 마스크 레이블이 필요한 분할 데이터셋보다 훨씬 쉽게 얻을 수 있다는 장점이 있습니다.
하지만 이미지 분류는 이미지 전체에 대한 범주를 예측하는 반면, 분할은 픽셀 단위로 레이블을 예측해야 합니다. 이러한 차이를 해결하기 위해 연구진은 이미지 수준의 감독 정보를 픽셀 수준의 분할 모델 학습 과정에 통합하는 일반적인 기본 프레임워크를 제안했습니다. 이를 통해 새롭게 도입된 분류 데이터의 범주에 대해 의미론적 분할을 수행하도록 네트워크를 학습시킬 수 있게 되었습니다.
범주별 집중 분류기: 정확도 향상의 핵심
연구진은 분할 데이터로 학습된 모델이 훈련 어휘를 넘어서는 범주의 픽셀 특징을 그룹화할 수 있다는 것을 발견했습니다. 이러한 발견에 착안하여 범주별 집중 분류기를 설계하여 해당 범주의 정확한 영역에 감독을 적용함으로써 모델 성능을 향상시켰습니다.
21,000개 범주 의미론적 분할 모델의 탄생
LarvSeg의 성능은 광범위한 실험을 통해 입증되었습니다. 특히 마스크 레이블이 없는 범주에서 성능 향상이 두드러졌습니다. 더욱 놀라운 것은 ImageNet21K를 활용하여 21,000개 범주를 가진 의미론적 분할 모델을 최초로 구현했다는 점입니다. 이는 대규모 어휘 의미론적 분할 분야에 있어 획기적인 성과라 할 수 있습니다. 해당 코드는 GitHub에서 확인할 수 있습니다.
LarvSeg는 이미지 분류 데이터를 효과적으로 활용하여 대규모 어휘 의미론적 분할 문제에 대한 새로운 해결책을 제시했습니다. 향후 연구를 통해 더욱 발전된 대규모 어휘 의미론적 분할 기술이 개발될 것으로 기대됩니다.
Reference
[arxiv] LarvSeg: Exploring Image Classification Data For Large Vocabulary Semantic Segmentation via Category-wise Attentive Classifier
Published: (Updated: )
Author: Haojun Yu, Di Dai, Ziwei Zhao, Di He, Han Hu, Liwei Wang
http://arxiv.org/abs/2501.06862v1