Perché utilizzare una certa misura dell'errore di previsione (ad es. MAD) anziché un'altra (ad es. MSE)?

MAD = Deviazione assoluta media MSE = Errore quadrato medio

Ho visto suggerimenti da vari luoghi che MSE viene utilizzato nonostante alcune qualità indesiderabili (ad esempio http://www.stat.nus.edu.sg/~staxyc/T12.pdf , che afferma a p8 "Si ritiene comunemente che MAD è un criterio migliore di MSE. Tuttavia, matematicamente MSE è più conveniente di MAD. ")

C'è di più? Esiste un documento che analizza a fondo le situazioni in cui vari metodi di misurazione dell'errore di previsione sono più / meno appropriati? Le mie ricerche su Google non hanno rivelato nulla.

Una domanda simile a questa è stata posta a /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde e all'utente è stato chiesto di pubblica su stats.stackexchange.com, ma non credo che lo abbiano mai fatto.

Per decidere quale misura dell'errore di previsione del punto usare, dobbiamo fare un passo indietro. Si noti che non conosciamo perfettamente i risultati futuri, né lo faremo mai. Quindi il risultato futuro segue una distribuzione di probabilità . Alcuni metodi di previsione producono esplicitamente una distribuzione così completa, altri no - ma è sempre lì, anche se solo implicitamente.

Ora, vogliamo avere una buona misura di errore per una previsione puntuale . Una tale previsione puntuale $F_t$ è il nostro tentativo di sintetizzare ciò che sappiamo sulla distribuzione futura (cioè la distribuzione predittiva) al momento $t$ usando un singolo numero, una cosiddetta funzione della densità futura. La misura dell'errore è quindi un modo per valutare la qualità di questo riepilogo a numero singolo.

Quindi dovresti scegliere una misura di errore che premia "buoni" sommari di un numero di densità future (sconosciute, probabilmente previste, ma probabilmente solo implicite).

La sfida è che diverse misure di errore sono minimizzate da diversi funzionali. Il MSE atteso è ridotto al minimo dal valore atteso della distribuzione futura. Il MAD atteso è minimizzato dalla mediana della distribuzione futura. Pertanto, se si calibrano le previsioni per ridurre al minimo il MAE, la previsione dei punti sarà la mediana futura, non il valore atteso futuro e le previsioni saranno distorte se la distribuzione futura non è simmetrica.

Ciò è particolarmente rilevante per i dati di conteggio, che sono generalmente distorti. In casi estremi (ad esempio, Poisson ha distribuito le vendite con una media inferiore al $\log 2\approx 0.69$ ), il tuo MAE sarà più basso per una previsione zero piatta. Vedi qui o qui o qui per i dettagli.

Fornisco ulteriori informazioni e un'illustrazione in Quali sono le carenze dell'errore percentuale assoluta media (MAPE)? Quel thread considera il mape , ma anche altre misure di errore e contiene collegamenti ad altri thread correlati.

Alla fine, quale misura di errore utilizzare dipende in realtà dal costo dell'errore di previsione, ovvero quale tipo di errore è più doloroso. Senza esaminare le implicazioni effettive degli errori di previsione, qualsiasi discussione su "criteri migliori" è sostanzialmente insignificante.

Le misure di accuratezza delle previsioni erano un argomento importante nella comunità delle previsioni alcuni anni fa e continuano ad apparire di tanto in tanto. Un ottimo articolo da guardare è Hyndman & Koehler "Un altro sguardo alle misure di accuratezza delle previsioni" (2006).

Infine, un'alternativa è calcolare le densità predittive complete e valutarle usando regole di punteggio adeguate .

I vantaggi dell'utilizzo di MAE anziché MSE sono spiegati in Davydenko e Fildes (2016) , vedere la Sezione 3.1:

... Alcuni autori (ad esempio, Zellner, 1986) sostengono che il criterio con cui valutiamo le previsioni dovrebbe corrispondere al criterio con cui ottimizziamo le previsioni. In altre parole, se ottimizziamo le stime utilizzando una determinata funzione di perdita, dobbiamo usare la stessa funzione di perdita per la valutazione empirica al fine di scoprire quale modello è migliore.

Adattare un modello statistico di solito fornisce previsioni ottimali in caso di perdita quadratica. Questo, ad esempio, accade quando si inserisce una regressione lineare. Se la nostra previsione di densità dalla modellistica statistica è simmetrica, anche le previsioni ottimali sotto perdita quadratica sono ottimali sotto perdita lineare. Ma se stabilizziamo la varianza mediante trasformazioni dei tronchi e poi trasformiamo indietro le previsioni per esponenziazione, otteniamo previsioni ottimali solo in caso di perdita lineare. Se utilizziamo un'altra perdita, dobbiamo prima ottenere la previsione della densità utilizzando un modello statistico, quindi adattare la nostra stima data la nostra funzione di perdita specifica (vedere esempi di come farlo in Goodwin, 2000).

Supponiamo di voler confrontare empiricamente due metodi e scoprire quale metodo è migliore in termini di perdita lineare simmetrica (poiché questo tipo di perdita è comunemente usato nella modellazione). Se abbiamo solo una serie temporale, sembra naturale usare un errore assoluto medio (MAE). Inoltre, MAE è attraente in quanto è semplice da capire e calcolare (Hyndman, 2006) ...

Riferimenti

Davydenko, A., & Fildes, R. (2016). Misure di errore previsionali: revisione critica e raccomandazioni pratiche. Nelle previsioni aziendali: problemi pratici e soluzioni. John Wiley & Sons

$RMSE = \sqrt{MSE}$$MAE = MAD$

In realtà,

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• $e$
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

$MAE \leq RMSE \leq \sqrt{MAE}$$y_i$$\hat y_i$$\in [0, 1]$

• $e_i$$\leq 1$
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  $n_{wrong}$, se scegli l'iscrizione alla classe parziale / frazionaria e quindi anche per $e_i \in [0, 1]$, le cose diventano un po 'più complicate perché devi tenere conto del fatto che l'errore massimo possibile può essere inferiore a 1 e potresti avere un "residuo" $e_i < 1$ che entrambi abbassano ulteriormente il limite superiore).

Se RMSE è vicino al MAE, ci sono molte piccole deviazioni, se è vicino al limite superiore, ci sono poche previsioni grossolanamente sbagliate.