Per decidere quale misura dell'errore di previsione del punto usare, dobbiamo fare un passo indietro. Si noti che non conosciamo perfettamente i risultati futuri, né lo faremo mai. Quindi il risultato futuro segue una distribuzione di probabilità . Alcuni metodi di previsione producono esplicitamente una distribuzione così completa, altri no - ma è sempre lì, anche se solo implicitamente.
Ora, vogliamo avere una buona misura di errore per una previsione puntuale . Una tale previsione puntuale Ft è il nostro tentativo di sintetizzare ciò che sappiamo sulla distribuzione futura (cioè la distribuzione predittiva) al momento t usando un singolo numero, una cosiddetta funzione della densità futura. La misura dell'errore è quindi un modo per valutare la qualità di questo riepilogo a numero singolo.
Quindi dovresti scegliere una misura di errore che premia "buoni" sommari di un numero di densità future (sconosciute, probabilmente previste, ma probabilmente solo implicite).
La sfida è che diverse misure di errore sono minimizzate da diversi funzionali. Il MSE atteso è ridotto al minimo dal valore atteso della distribuzione futura. Il MAD atteso è minimizzato dalla mediana della distribuzione futura. Pertanto, se si calibrano le previsioni per ridurre al minimo il MAE, la previsione dei punti sarà la mediana futura, non il valore atteso futuro e le previsioni saranno distorte se la distribuzione futura non è simmetrica.
Ciò è particolarmente rilevante per i dati di conteggio, che sono generalmente distorti. In casi estremi (ad esempio, Poisson ha distribuito le vendite con una media inferiore al log2 ≈ 0,69 ), il tuo MAE sarà più basso per una previsione zero piatta. Vedi qui o qui o qui per i dettagli.
Fornisco ulteriori informazioni e un'illustrazione in Quali sono le carenze dell'errore percentuale assoluta media (MAPE)? Quel thread considera il mape , ma anche altre misure di errore e contiene collegamenti ad altri thread correlati.
Alla fine, quale misura di errore utilizzare dipende in realtà dal costo dell'errore di previsione, ovvero quale tipo di errore è più doloroso. Senza esaminare le implicazioni effettive degli errori di previsione, qualsiasi discussione su "criteri migliori" è sostanzialmente insignificante.
Le misure di accuratezza delle previsioni erano un argomento importante nella comunità delle previsioni alcuni anni fa e continuano ad apparire di tanto in tanto. Un ottimo articolo da guardare è Hyndman & Koehler "Un altro sguardo alle misure di accuratezza delle previsioni" (2006).
Infine, un'alternativa è calcolare le densità predittive complete e valutarle usando regole di punteggio adeguate .