잡음 제거기는 이제 그만! 자기 지도 학습에서 잡음에 강인한 모델의 등장

잡음 제거기 없이도 잡음에 강건한 자기 지도 학습 모델을 개발하는 새로운 프레임워크가 제시되었습니다. 데이터 커리큘럼과 교사 지도 규제를 활용하여 잡음에 대한 강인성을 내재화하는 방법으로, ImageNet-1k 실험에서 DINOv2 대비 4.8% 향상된 성능을 보였습니다.

자기 지도 학습(Self-Supervised Learning, SSL)은 비표지 데이터에서 풍부한 표현을 추출하는 강력한 도구로 자리 잡았습니다. 하지만 기존 SSL 연구는 대부분 깨끗하고 정제된 고품질 데이터셋에 집중되어 왔습니다. 천문학, 의료 영상, 지구 물리학, 금융 등 잡음이 많은 데이터를 다루는 응용 분야에서는 SSL 적용에 어려움이 있었습니다.

Wenquan Lu를 비롯한 연구팀은 이러한 문제를 해결하기 위해 놀라운 연구 결과를 발표했습니다. 바로 잡음 제거기 없이도 잡음에 강인한 표현 학습이 가능한 완전 자기 지도 학습 프레임워크입니다! 이 연구의 핵심은 추론이나 하류 미세 조정 단계에서 잡음 제거기를 사용하지 않는다는 점입니다. 이는 모델의 배포를 크게 단순화합니다.

연구팀은 먼저 잡음이 많은 데이터에서 SSL 잡음 제거기를 학습시킨 후, 이를 사용하여 잡음 제거된 데이터와 잡음이 있는 데이터로 구성된 데이터 커리큘럼(denoised-to-noisy data curriculum)을 구축했습니다. 이 커리큘럼으로 SSL 백본(예: DINOv2)을 사전 훈련하는데, 교사 지도 규제(teacher-guided regularization)를 함께 사용하여 잡음이 있는 임베딩을 잡음이 제거된 임베딩에 고정시킵니다. 이 과정을 통해 모델이 잡음에 대한 강인성을 내재화하도록 유도하는 것입니다.

놀랍게도, 사전 훈련 후에는 잡음 제거기를 버릴 수 있습니다. ImageNet-1k 데이터셋과 ViT-B 모델을 사용한 실험에서 극단적인 가우시안 잡음(σ=255, SNR = 0.72 dB) 환경에서, 이 방법은 DINOv2보다 선형 프로빙 정확도를 4.8% 향상시켰습니다. 이는 잡음 인식 사전 훈련을 통해 잡음 제거기가 없는 강건성이 나타날 수 있음을 보여주는 중요한 결과입니다. 코드는 https://github.com/wenquanlu/noisy_dinov2에서 확인할 수 있습니다.

이 연구는 잡음이 많은 실제 세계 데이터를 활용한 AI 모델 개발에 큰 진전을 가져올 것으로 기대됩니다. 더 이상 잡음 제거에 매달릴 필요 없이, 더욱 강력하고 효율적인 AI 모델을 구축할 수 있는 길이 열린 것입니다. 앞으로 이 연구가 다양한 분야에 어떻게 적용될지, 그리고 어떤 새로운 가능성을 열어갈지 주목할 만합니다.