Il mio meteorologo è preciso?

Una domanda che mi ha disturbato per qualche tempo, che non so come affrontare:

Ogni giorno, il mio meteorologo offre una probabilità percentuale di pioggia (supponiamo che sia calcolato su 9000 cifre e non ha mai ripetuto un numero). Ogni giorno successivo piove o non piove.

Ho anni di dati - possibilità pct vs pioggia o no. Data la storia di questo meteorologo , se stasera dice che la possibilità di pioggia di domani è X, allora qual è la mia ipotesi migliore su quale sia davvero la possibilità di pioggia?

In effetti stai pensando a un modello in cui la vera possibilità di pioggia, p , è una funzione della probabilità prevista q : p = p (q ). Ogni volta che viene fatta una previsione, si osserva una realizzazione di una variabile di Bernoulli con probabilità p (q) di successo. Questa è una configurazione di regressione logistica classica se si è disposti a modellare la vera possibilità come una combinazione lineare di funzioni di base f1 , f2 , ..., fk ; cioè, dice il modello

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

con errori iid e . Se sei agnostico sulla forma della relazione (anche se se il meteorologo è un buon p (q) - q dovrebbe essere ragionevolmente piccolo), considera la possibilità di utilizzare un insieme di spline per la base. L'output, come al solito, consiste in stime dei coefficienti e una stima della varianza di e . Data qualsiasi previsione futura q , basta inserire il valore nel modello con i coefficienti stimati per ottenere una risposta alla domanda (e utilizzare la varianza di e per costruire un intervallo di previsione attorno a quella risposta, se lo si desidera).

Questo framework è abbastanza flessibile da includere altri fattori, come la possibilità di cambiamenti nel tempo della qualità delle previsioni. Ti consente anche di testare ipotesi, ad esempio se p = q (che è ciò che sostiene implicitamente il meteorologo).

Il confronto della previsione di probabilità per evento binario (o variabile casuale discreta) può essere fatto sul punteggio di Brier

$\tau$$\tau$

Dovresti dare un'occhiata a come funziona il centro europeo per le previsioni meteorologiche a medio termine ( ECMWF ).

Quando la previsione dice "X probabilità di pioggia in (area)", significa che il modello meteorologico numerico ha indicato pioggia in X per cento dell'area, per l'intervallo di tempo in questione. Ad esempio, sarebbe normalmente accurato prevedere "100% di probabilità di pioggia in Nord America". Tieni presente che i modelli sono bravi a prevedere le dinamiche e scarsi a prevedere la termodinamica.

L' approccio del Brier Score è molto semplice e il modo più direttamente applicabile verifica l'accuratezza di un risultato previsto rispetto a un evento binario.

Non fare affidamento solo su formule ... traccia i punteggi per diversi periodi di tempo, dati, errori, media mobile ponderata di dati, errori ... è difficile dire quale analisi visiva potrebbe rivelare ... dopo aver pensato vedi qualcosa, saprai meglio che tipo di test di ipotesi eseguire fino a DOPO aver guardato i dati.

Il Brier Score presuppone intrinsecamente stabilità della variazione / distribuzioni sottostanti meteo e tecnologia alla base dei modelli di previsione, mancanza di linearità, assenza di distorsioni, mancanza di cambiamenti nella distorsione ... presuppone che lo stesso livello generale di accuratezza / inesattezza sia coerente. Poiché i cambiamenti climatici in modi non ancora compresi, l'accuratezza delle previsioni meteorologiche diminuirebbe; al contrario, gli scienziati che forniscono informazioni al meteorologo hanno più risorse, modelli più completi, più potenza di calcolo, quindi forse la precisione delle previsioni aumenterebbe. Guardare gli errori direbbe qualcosa sulla stabilità, linearità e distorsione delle previsioni ... potresti non avere abbastanza dati per vedere le tendenze; potresti imparare che stabilità, linearità e distorsione non sono un problema. Potresti imparare che le previsioni del tempo stanno diventando più accurate ... o no.

Che ne dite di semplicemente binning delle previsioni date e prendere le frazioni osservate come stima per ogni bin?

Puoi generalizzare questo a un modello continuo soppesando tutte le osservazioni sul tuo valore di interesse (ad esempio la previsione entro domani) da un gaussiano e vedendo qual è la media ponderata.

Puoi indovinare una larghezza per ottenere una determinata frazione dei tuoi dati (o, diciamo, mai meno di 100 punti per una buona stima). In alternativa, utilizzare un metodo come la convalida incrociata della massima verosimiglianza per ottenere la larghezza gaussiana.

Vuoi sapere se la sua previsione è più accurata di un'altra previsione? In tal caso, puoi esaminare le metriche di precisione di base per la classificazione probabilistica come entropia incrociata, precisione / richiamo, curve ROC e punteggio f1.

Determinare se la previsione è oggettivamente buona è una questione diversa. Un'opzione è guardare la calibrazione. Di tutti i giorni in cui ha detto che ci sarebbe stata una probabilità del 90% di pioggia, circa il 90% di quei giorni ha piovuto? Prendi tutti i giorni in cui ha una previsione e poi scartala con la sua stima della probabilità di pioggia. Per ogni secchio, calcola la percentuale dei giorni in cui si è effettivamente verificata la pioggia. Quindi per ogni secchio traccia la probabilità effettiva di pioggia rispetto alla sua stima per la probabilità di pioggia. La trama apparirà come una linea retta se la previsione è ben calibrata.