AI 기반 일기예보 모델의 공정한 비교를 위한 새로운 척도: PC

본 연구는 AI 기반 일기예보(AIWP)와 수치예보(NWP) 모델의 공정한 비교를 위한 새로운 척도인 PC(Potential Continuous Ranked Probability Score)를 제안하고, WeatherBench 2 데이터를 이용한 실험을 통해 데이터 기반 모델의 우수성을 입증했습니다. PC 척도는 모델 출력의 변환에 불변하며, 실제 운영 환경의 예측 성능을 잘 반영합니다.

AI 기반 일기예보와 수치예보 모델의 공정한 비교: 혁신적인 PC 척도의 등장

기존의 AI 기반 일기예보(AIWP)와 수치예보(NWP) 모델의 성능 비교는 예측 결과의 차이를 정확하게 평가하기 어려운 난관에 직면해 왔습니다. Tilmann Gneiting을 비롯한 6명의 연구자들은 이러한 문제를 해결하기 위해 새로운 비교 척도인 잠재 연속 순위 확률 점수(Potential Continuous Ranked Probability Score, PC) 를 제안했습니다.

이 혁신적인 PC 척도는 물리 기반 모델과 데이터 기반 모델 모두에 동일한 통계적 후처리 기법인 등각 분포 회귀(IDR)를 적용하여, 모델 출력의 엄격한 증가 변환에 대해 불변하는 특징을 가집니다. 즉, 모델 출력의 단위 변환이나 스케일 조정에도 비교 결과가 영향을 받지 않습니다. PC는 비음수 값을 가지며, 기상 결과 Y가 모델 출력 X의 고정된 비감소 함수일 때, 그리고 그때만 0이라는 최적 값을 얻습니다. 단위는 결과의 단위를 따르며, 상한은 결과의 평균 절대 차이의 절반입니다. 실제 운영상의 확률적 예측 결과의 평균 CRPS(Continuous Ranked Probability Score)를 대략적으로 나타냅니다.

연구팀은 WeatherBench 2 데이터를 사용하여 PC 척도를 적용, 놀라운 결과를 얻었습니다. 데이터 기반 GraphCast 모델이 기존의 물리 기반 유럽 중기 예보 센터(ECMWF) 고해상도(HRES) 모델보다 뛰어난 성능을 보인 것입니다. 더욱 흥미로운 점은 HRES 모델의 PC 척도가 ECMWF 앙상블의 평균 CRPS와 매우 잘 일치한다는 사실입니다. 이는 PC 척도가 실제 운영 환경에서의 예측 성능을 잘 반영한다는 것을 시사합니다.

이 연구는 손실 함수를 사전에 지정해야 하는 기존의 예측 경연대회 방식의 한계를 극복하여, 다양한 모델을 보다 공정하게 비교할 수 있는 새로운 기준을 제시했습니다. AIWP와 NWP 모델 비교의 패러다임을 바꿀 잠재력을 가진 이 연구는 앞으로 기상 예보 분야뿐 아니라, 다양한 예측 모델의 성능 비교에 널리 활용될 것으로 기대됩니다. 이를 통해 더욱 정확하고 효율적인 예측 모델 개발을 가속화할 수 있을 것으로 예상됩니다.