AI의 불확실성을 정복하다: 새로운 검증 방법의 등장

Mira Jürgens 등 연구진은 AI의 불확실성 표현 및 평가를 위한 새로운 검증 방법을 제시했습니다. 인스턴스별로 다른 앙상블 멤버의 신뢰도를 고려하고, 차별화 가능한 커널 기반 추정기를 활용한 비모수적 검정 절차를 도입하여 실용성을 높였습니다. 이 연구는 AI의 신뢰성과 안전성 향상에 크게 기여할 것으로 예상됩니다.

머신러닝에서 불확실성(epistemic uncertainty) 을 정확하게 표현하는 것은 매우 중요하지만 어려운 과제입니다. Mira Jürgens 등의 연구진은 최근 발표한 논문 "A calibration test for evaluating set-based epistemic uncertainty representations"에서 이 문제에 대한 새로운 해결책을 제시했습니다.

기존에는 확률적 예측 변수들의 볼록 집합(credal sets)을 사용하여 불확실성을 표현하는 방법이 널리 쓰였습니다. 하지만 이 방법은 앙상블이나 특수한 지도 학습 방법을 통해 생성되는 집합이 실제 데이터 생성 분포를 포함한다는 보장이 없다는 한계점이 있었습니다.

연구진은 이러한 한계를 극복하기 위해 **'보정(calibration)'**이라는 개념을 도입했습니다. 보정은 예측의 신뢰도와 실제 정확도 사이의 일관성을 의미합니다. 기존의 방법들은 단순히 집합 크기나 멤버 간의 불일치 정도로 불확실성을 측정했지만, 이 연구에서는 볼록 조합을 통해 집합 내 예측의 보정 여부를 통계적으로 검정하는 새로운 방법을 제안했습니다.

가장 흥미로운 부분은 이들이 제안한 검정 방법이 인스턴스에 따라 다른 앙상블 멤버의 보정 정도를 고려한다는 점입니다. 즉, 입력 공간의 특정 영역에서는 특정 멤버의 예측이 다른 멤버보다 더 신뢰할 수 있다는 점을 인지하고, 적절한 점수 규칙(proper scoring rules) 을 사용하여 인스턴스별 최적의 볼록 조합을 학습합니다. 이를 통해 더욱 정확한 불확실성 측정이 가능해집니다.

또한, 연구진은 차별화 가능한 커널 기반 추정기를 활용하여 보정 오차를 추정하고, 비모수적 검정 절차를 도입하여 실제 데이터에 대한 적용 가능성을 높였습니다. 합성 데이터와 실제 데이터에 대한 실험을 통해 이 방법의 유용성을 입증했습니다.

이 연구는 AI의 신뢰성과 안전성을 높이는 데 중요한 기여를 할 것으로 기대됩니다. 특히 자율주행, 의료 진단 등 불확실성 관리가 중요한 분야에서 널리 활용될 수 있을 것입니다. 하지만, 인스턴스별 보정 조합 학습에 필요한 계산 비용이 증가할 수 있다는 점은 향후 연구에서 고려해야 할 부분입니다.