Quali sono le carenze dell'errore di percentuale assoluta media (MAPE)?

L' errore percentuale assoluta media ( mape ) è una misura di precisione o di errore comune per serie temporali o altre previsioni,

MAPE = \frac{100}{n} \sum_{t = 1}^{n} \frac{| A_{t} - F_{t} |}{A_{t}} %,

$\text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%,$

dove sono effettivi e previsioni o previsioni corrispondenti. $A_t$ $F_t$

Il MAPE è una percentuale, quindi possiamo facilmente confrontarlo tra le serie e le persone possono facilmente capire e interpretare le percentuali.

Tuttavia, ho sentito che MAPE ha degli svantaggi. Mi piacerebbe capire meglio questi inconvenienti in modo da poter prendere una decisione informata sull'utilizzo di MAPE o di qualche alternativa come MSE ( mse ), MAE ( mae ) o MASE ( mase ).

accuracy mape

— S. Kolassa - Ripristina Monica
fonte

Carenze del MAPE

Il MAPE, in percentuale, ha senso solo per i valori in cui le divisioni e i rapporti hanno un senso. Non ha senso calcolare le percentuali di temperature, ad esempio, quindi non dovresti usare MAPE per calcolare l'accuratezza di una previsione di temperatura.
Se solo un singolo effettivo è zero, , allora si divide per zero nel calcolo del MAPE, che non è definito. $A_t=0$

Si scopre che alcuni software di previsione riportano comunque un MAPE per tali serie, semplicemente facendo cadere periodi con zero effettivi ( Hoover, 2006 ). Inutile dire che questa non è una buona idea, in quanto implica che non ci preoccupiamo affatto di ciò che abbiamo previsto se l'effettivo fosse zero - ma una previsione di e una di potrebbero avere implicazioni molto diverse . Quindi controlla cosa fa il tuo software. $F_t=100$ $F_t=1000$

Se si verificano solo pochi zeri, è possibile utilizzare un MAPE ponderato ( Kolassa & Schütz, 2007 ), che tuttavia presenta problemi propri. Questo vale anche per il MAPE simmetrico ( Goodwin & Lawton, 1999 ).
Possono verificarsi MAPE superiori al 100%. Se si preferisce lavorare con precisione, che alcune persone definiscono 100% -MAPE, ciò può portare a una precisione negativa, che le persone potrebbero avere difficoltà a comprendere. ( No, troncare la precisione a zero non è una buona idea. )
Se disponiamo di dati strettamente positivi che desideriamo prevedere (e per quanto sopra, MAPE non ha senso altrimenti), quindi non effettueremo mai previsioni inferiori a zero. Purtroppo il MAPE tratta le previsioni eccessive in modo diverso rispetto alle previsioni: un underforecast non contribuirà mai più del 100% (ad esempio, se e ), ma il contributo di un overforecast non è limitato (ad esempio, se e ). Ciò significa che MAPE potrebbe essere inferiore per previsioni distorte rispetto a previsioni imparziali. La riduzione al minimo può portare a previsioni distorte. $F_t=0$ $A_t=1$ $F_t=5$ $A_t=1$

Soprattutto l'ultimo punto elenco merita un po 'più di pensiero. Per questo, dobbiamo fare un passo indietro.

Per cominciare, nota che non conosciamo perfettamente i risultati futuri, né lo faremo mai. Quindi il risultato futuro segue una distribuzione di probabilità. La nostra cosiddetta previsione del punto è il nostro tentativo di riassumere ciò che sappiamo sulla distribuzione futura (cioè la distribuzione predittiva ) al momento usando un singolo numero. Il MAPE è quindi una misura di qualità di un'intera sequenza di tali sommari a numero singolo di future distribuzioni a volte . $F_t$ $t$ $t=1, \dots, n$

Il problema qui è che le persone raramente dicono esplicitamente quale sia un buon riassunto di un numero di una distribuzione futura.

Quando parli per prevedere i consumatori, di solito vorranno che sia corretto "in media". Cioè, vogliono che sia l'aspettativa o la media della distribuzione futura, piuttosto che, diciamo, la sua mediana. $F_t$ $F_t$

Ecco il problema: minimizzare il MAPE in genere non ci incentiverà a produrre questa aspettativa, ma un riassunto di un numero piuttosto diverso ( McKenzie, 2011 , Kolassa, 2020 ). Questo accade per due diversi motivi.

Distribuzioni future asimmetriche. Supponiamo che la nostra vera distribuzione futura segua una distribuzione lognormale stazionaria . L'immagine seguente mostra una serie temporale simulata, nonché la densità corrispondente. $(\mu=1,\sigma^2=1)$

Le linee orizzontali forniscono le previsioni ottimali dei punti, in cui "ottimalità" è definita come minimizzare l'errore previsto per varie misure di errore.
- La linea tratteggiata in riduce al minimo l'MSE previsto. È l'aspettativa delle serie storiche. $F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
- La linea tratteggiata in minimizza il MAE previsto. È la mediana delle serie storiche. $F_t=\exp\mu\approx 2.7$
- La linea tratteggiata in minimizza il MAPE previsto. È il (-1) mediano delle serie temporali ( Gneiting, 2011 , p. 752 con ), che nel caso specifico di una distribuzione lognormale coincide con la modalità della distribuzione . $F_t=\exp(\mu-\sigma^2)=1.0$ $\beta=-1$
Vediamo che l'asimmetria della futura distribuzione, insieme al fatto che il MAPE penalizza in modo differenziato le previsioni eccessive e quelle scarse, implica che minimizzare il MAPE porterà a previsioni fortemente distorte. ( Ecco il calcolo delle previsioni dei punti ottimali nel caso gamma. )
Distribuzione simmetrica con un alto coefficiente di variazione. Supponiamo che provenga dal lancio di un dado a sei facce standard in ogni momento . L'immagine sotto mostra di nuovo un percorso di esempio simulato: $A_t$ $t$

In questo caso:
- La linea tratteggiata su riduce al minimo il MSE previsto. È l'aspettativa delle serie storiche. $F_t=3.5$
- Qualsiasi previsione (non mostrata nel grafico) minimizzerà il MAE previsto. Tutti i valori in questo intervallo sono mediani delle serie temporali. $3\leq F_t\leq 4$
- La linea tratteggiata in riduce al minimo il MAPE previsto. $F_t=2$
Vediamo ancora come minimizzare MAPE può portare a una previsione distorta, a causa della penalità differenziale che si applica a previsioni eccessive e sottostanti. In questo caso, il problema non deriva da una distribuzione asimmetrica, ma dall'elevato coefficiente di variazione del nostro processo di generazione dei dati.

Questa è in realtà una semplice illustrazione che puoi usare per insegnare alle persone le carenze del MAPE: dai ai tuoi partecipanti pochi dadi e fai rotolare. Vedi Kolassa & Martin (2011) per maggiori informazioni.

Domande CrossValidated correlate

Codice R.

Esempio lognormale:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Esempio di lancio dei dadi:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Riferimenti

Gneiting, T. Fare e valutare le previsioni dei punti . Journal of American Statistical Association , 2011, 106, 746-762

Goodwin, P. & Lawton, R. Sull'asimmetria del MAPE simmetrico . International Journal of Forecasting , 1999, 15, 405-408

Hoover, J. Misurazione della precisione delle previsioni: omissioni nei motori di previsione odierni e software di pianificazione della domanda . Foresight: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Perché la previsione del punto "migliore" dipende dall'errore o dalla misura di precisione (commento invitato alla competizione di previsione M4). International Journal of Forecasting , 2020, 36 (1), 208-211

Gli errori percentuali di Kolassa, S. & Martin, R. possono rovinare la giornata (e tirare i dadi mostra come) . Foresight: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Vantaggi del rapporto MAD / Mean rispetto al MAPE . Previsione: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Errore percentuale assoluto medio e parzialità nelle previsioni economiche . Lettere di economia , 2011, 113, 259-262

— S. Kolassa - Ripristina Monica
fonte

Domande e risposte eccellenti. Vorrei aggiungere che tutte queste metriche hanno due grandi presupposti alla base: la serie è iid e stazionaria. Se una o entrambe queste ipotesi non sono soddisfatte, cosa che accade di frequente nella pratica, la loro validità è discutibile.

— Mike Hunter,

Sono d'accordo con la maggior parte di questo, tuttavia, non sarebbe legittimo trattare i rapporti di temperature fintanto che sono sulla loro scala corretta (cioè, la scala di Kelvin)?

— Ripristina Monica il

@Ben: in tal caso, non divideremo per zero. Tuttavia, l'asimmetria è ancora un leggero problema. Se la tua previsione è 293K e l'attuale è 288K, hai un APE dell'1,74% e se la previsione è 288K mentre l'effettivo è 293K, l'APE è dell'1,71%, quindi la seconda previsione sembra migliore, sebbene entrambi siano spenti di 5K . (Traduci in C o F in base alle esigenze). In sostanza, gli stessi errori assoluti sono penalizzati più fortemente per i valori inferiori. Inoltre, l'interpretazione degli errori percentuali per le temperature non è facile.

— S. Kolassa - Ripristina Monica il

@Ben Le percentuali di temperatura assoluta sono legittime, ma le differenze di temperatura sono più facili da capire - almeno, quando ci occupiamo di temperature nell'intervallo di tutti i giorni; quando si prevede la temperatura interna della stella, potrebbe essere il contrario.

— Pere,