딥러닝의 불확실성 정량화: 무한 너비 한계에서의 새로운 스케일링 법칙 발견

본 논문은 신경망 초기화 분포에서 기인하는 딥러닝 모델의 불확실성을 정량화하는 새로운 방법을 제시합니다. 무한 너비 한계에서의 분석을 통해 훈련 데이터 크기에 대한 스케일링 법칙을 발견하였고, 변동 계수가 훈련 데이터 크기에 무관함을 밝혀냄으로써 유한 너비 네트워크의 불확실성을 예측할 수 있는 가능성을 제시합니다.

물리 과학 분야에서 머신러닝 분석의 활용을 위해서는 머신러닝 분석으로부터 발생하는 불확실성을 정량화하는 것이 매우 중요합니다. Ibrahim Elsharkawy, Yonatan Kahn, Benjamin Hooberman 세 연구자는 최근 발표한 논문 "Uncertainty Quantification From Scaling Laws in Deep Neural Networks"에서 신경망 초기화 분포에서 유래된 불확실성에 초점을 맞춰 이 문제에 대한 흥미로운 해결책을 제시했습니다.

연구팀은 다층 퍼셉트론(MLP)의 앙상블에 대해 무한 너비 한계에서 신경 탄젠트 커널(NTK) 초기화를 사용하여 테스트 손실($\mathcal{L}$)의 평균($\mu_{\mathcal{L}}$)과 분산($\sigma_{\mathcal{L}}^2$)을 계산했습니다. MNIST 분류, CIFAR 분류, 칼로리미터 에너지 회귀라는 세 가지 예시 작업에 대해 유한 너비 네트워크의 결과와 비교 분석을 진행하였습니다.

그 결과, $\mu_{\mathcal{L}}$과 $\sigma_{\mathcal{L}}$ 모두 훈련 세트 크기($N_{\mathcal{D}}$)의 함수로서 스케일링 법칙을 따르는 것을 관찰했습니다. 하지만 놀랍게도, 변동 계수($\epsilon_{\mathcal{L}} \equiv \sigma_{\mathcal{L}}/\mu_{\mathcal{L}}$)는 충분히 큰 $N_{\mathcal{D}}$에 대해 무한 및 유한 너비 모두에서 $N_{\mathcal{D}}$와 무관하다는 것을 발견했습니다.

이것은 유한 너비 네트워크의 변동 계수를 무한 너비 값으로 근사할 수 있으며, 원칙적으로 유한 너비 섭동 이론을 사용하여 계산할 수 있음을 시사합니다. 이는 딥러닝 모델의 불확실성을 보다 정확하게 예측하고 제어하는 데 중요한 발견으로, 향후 머신러닝 모델의 신뢰성과 안정성 향상에 크게 기여할 것으로 기대됩니다. 특히, 물리 과학 분야에서의 머신러닝 적용의 신뢰도를 높이는 데 중요한 전기를 마련할 것으로 예상됩니다.

향후 연구 방향

이번 연구는 딥러닝 모델의 불확실성 정량화에 대한 새로운 시각을 제시했지만, 향후 연구를 통해 더욱 심도있는 분석이 필요합니다. 예를 들어, 다양한 네트워크 구조 및 다른 초기화 방법에 대한 연구가 추가적으로 필요하며, 실제 응용 분야에 대한 폭넓은 실험적 검증을 통해 이론적 결과의 일반화 가능성을 확인하는 것이 중요합니다. 또한, 유한 너비 섭동 이론을 이용한 변동 계수 계산 방법의 효율성 및 정확도에 대한 추가적인 연구도 필요할 것으로 보입니다.