딥러닝의 새로운 지평: 자기 지도 학습으로 심층 이종분산 회귀의 한계를 극복하다

Megh Shukla 외 연구팀이 자기 지도 학습 기반 심층 이종분산 회귀에서 공분산 추정에 대한 새로운 방법을 제시했습니다. KL Divergence와 2-Wasserstein distance 분석, 근접 이웃 기반 의사 레이블 생성을 통해 계산 비용을 줄이면서 정확도를 높였습니다.

최근 딥러닝 분야에서 심층 이종분산 회귀(Deep Heteroscedastic Regression)가 주목받고 있습니다. 이는 표적 분포의 평균과 공분산을 신경망을 통해 모델링하는 기술인데요, 문제는 이종분산성(Heteroscedasticity)에 있습니다. 즉, 공분산이 샘플에 따라 달라지고 종종 알려지지 않는다는 점입니다. 기존 방법들은 이러한 문제를 해결하기 위해 비지도 학습 프레임워크를 사용했지만, 계산 복잡성과 정확도 사이에서 절충을 해야만 했습니다. 감독 학습을 통해 이러한 문제를 완화할 수 있지만, 공분산에 대한 레이블을 얻는 것은 결코 쉽지 않습니다.

Megh Shukla, Aziz Shameem, Mathieu Salzmann, Alexandre Alahi 연구팀은 이러한 어려움을 극복하기 위해 자기 지도 학습(Self-Supervised Learning) 을 기반으로 심층 이종분산 회귀에서 공분산 추정에 대한 혁신적인 연구를 발표했습니다. 연구팀은 두 가지 주요 질문에 답을 제시합니다.

1. 만약 기준 진실(Ground Truth)이 있다면, 어떻게 공분산을 감독해야 할까요?
2. 기준 진실이 없다면, 어떻게 의사 레이블(Pseudo Labels)을 얻을 수 있을까요?

첫 번째 질문에 대한 답으로 연구팀은 KL Divergence와 2-Wasserstein distance라는 두 가지 널리 사용되는 척도를 분석했습니다. 특히, 비가환적(Non-commutative) 공분산을 가진 정규 분포 간의 2-Wasserstein distance에 대한 상한을 도출하여 최적화 과정을 안정적으로 만들었습니다. 이는 곧, 더욱 정확하고 효율적인 공분산 추정을 가능하게 합니다.

두 번째 질문에 대한 답은 놀랍게도 간단했습니다. 연구팀은 근접 이웃 기반 휴리스틱 알고리즘을 통해 공분산에 대한 효과적인 의사 레이블을 생성하는 방법을 제시했습니다. 이 방법은 기존의 복잡한 방법들에 비해 훨씬 간단하면서도 놀라울 정도로 정확한 결과를 제공합니다.

다양한 합성 및 실제 데이터 세트에 대한 실험 결과, 제안된 2-Wasserstein distance 상한과 의사 레이블 주석을 결합한 방법이 계산 비용은 낮추면서도 정확한 심층 이종분산 회귀를 달성함을 보여주었습니다. 이 연구는 자기 지도 학습을 활용하여 심층 이종분산 회귀의 한계를 극복하고 새로운 가능성을 제시하는 중요한 발견입니다. 향후 다양한 분야에서의 응용이 기대됩니다! 🎉