Carenze del MAPE
Il MAPE, in percentuale, ha senso solo per i valori in cui le divisioni e i rapporti hanno un senso. Non ha senso calcolare le percentuali di temperature, ad esempio, quindi non dovresti usare MAPE per calcolare l'accuratezza di una previsione di temperatura.
Se solo un singolo effettivo è zero, , allora si divide per zero nel calcolo del MAPE, che non è definito.UNt= 0
Si scopre che alcuni software di previsione riportano comunque un MAPE per tali serie, semplicemente facendo cadere periodi con zero effettivi ( Hoover, 2006 ). Inutile dire che questa non è una buona idea, in quanto implica che non ci preoccupiamo affatto di ciò che abbiamo previsto se l'effettivo fosse zero - ma una previsione di e una di potrebbero avere implicazioni molto diverse . Quindi controlla cosa fa il tuo software.Ft= 100Ft= 1000
Se si verificano solo pochi zeri, è possibile utilizzare un MAPE ponderato ( Kolassa & Schütz, 2007 ), che tuttavia presenta problemi propri. Questo vale anche per il MAPE simmetrico ( Goodwin & Lawton, 1999 ).
Possono verificarsi MAPE superiori al 100%. Se si preferisce lavorare con precisione, che alcune persone definiscono 100% -MAPE, ciò può portare a una precisione negativa, che le persone potrebbero avere difficoltà a comprendere. ( No, troncare la precisione a zero non è una buona idea. )
Se disponiamo di dati strettamente positivi che desideriamo prevedere (e per quanto sopra, MAPE non ha senso altrimenti), quindi non effettueremo mai previsioni inferiori a zero. Purtroppo il MAPE tratta le previsioni eccessive in modo diverso rispetto alle previsioni: un underforecast non contribuirà mai più del 100% (ad esempio, se e ), ma il contributo di un overforecast non è limitato (ad esempio, se e ). Ciò significa che MAPE potrebbe essere inferiore per previsioni distorte rispetto a previsioni imparziali. La riduzione al minimo può portare a previsioni distorte.Ft= 0UNt= 1Ft= 5UNt= 1
Soprattutto l'ultimo punto elenco merita un po 'più di pensiero. Per questo, dobbiamo fare un passo indietro.
Per cominciare, nota che non conosciamo perfettamente i risultati futuri, né lo faremo mai. Quindi il risultato futuro segue una distribuzione di probabilità. La nostra cosiddetta previsione del punto è il nostro tentativo di riassumere ciò che sappiamo sulla distribuzione futura (cioè la distribuzione predittiva ) al momento usando un singolo numero. Il MAPE è quindi una misura di qualità di un'intera sequenza di tali sommari a numero singolo di future distribuzioni a volte .Ft t t = 1 , … , ntt = 1 , … , n
Il problema qui è che le persone raramente dicono esplicitamente quale sia un buon riassunto di un numero di una distribuzione futura.
Quando parli per prevedere i consumatori, di solito vorranno che sia corretto "in media". Cioè, vogliono che sia l'aspettativa o la media della distribuzione futura, piuttosto che, diciamo, la sua mediana.FtFt
Ecco il problema: minimizzare il MAPE in genere non ci incentiverà a produrre questa aspettativa, ma un riassunto di un numero piuttosto diverso ( McKenzie, 2011 , Kolassa, 2020 ). Questo accade per due diversi motivi.
Distribuzioni future asimmetriche. Supponiamo che la nostra vera distribuzione futura segua una distribuzione lognormale stazionaria . L'immagine seguente mostra una serie temporale simulata, nonché la densità corrispondente.( μ = 1 , σ2= 1 )
Le linee orizzontali forniscono le previsioni ottimali dei punti, in cui "ottimalità" è definita come minimizzare l'errore previsto per varie misure di errore.
Vediamo che l'asimmetria della futura distribuzione, insieme al fatto che il MAPE penalizza in modo differenziato le previsioni eccessive e quelle scarse, implica che minimizzare il MAPE porterà a previsioni fortemente distorte. ( Ecco il calcolo delle previsioni dei punti ottimali nel caso gamma. )
Distribuzione simmetrica con un alto coefficiente di variazione. Supponiamo che provenga dal lancio di un dado a sei facce standard in ogni momento . L'immagine sotto mostra di nuovo un percorso di esempio simulato:UNtt
In questo caso:
La linea tratteggiata su riduce al minimo il MSE previsto. È l'aspettativa delle serie storiche.Ft= 3.5
Qualsiasi previsione (non mostrata nel grafico) minimizzerà il MAE previsto. Tutti i valori in questo intervallo sono mediani delle serie temporali.3 ≤ Ft≤ 4
La linea tratteggiata in riduce al minimo il MAPE previsto.Ft= 2
Vediamo ancora come minimizzare MAPE può portare a una previsione distorta, a causa della penalità differenziale che si applica a previsioni eccessive e sottostanti. In questo caso, il problema non deriva da una distribuzione asimmetrica, ma dall'elevato coefficiente di variazione del nostro processo di generazione dei dati.
Questa è in realtà una semplice illustrazione che puoi usare per insegnare alle persone le carenze del MAPE: dai ai tuoi partecipanti pochi dadi e fai rotolare. Vedi Kolassa & Martin (2011) per maggiori informazioni.
Domande CrossValidated correlate
Codice R.
Esempio lognormale:
mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"
set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))
opar <- par(mar=c(3,2,0,0)+.1)
plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
abline(v=101,col=SAPMediumGray)
xx <- seq(0,max(actuals),by=.1)
polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)
(min.Ese <- exp(mm+ss.sq/2))
lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)
(min.Eae <- exp(mm))
lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)
(min.Eape <- exp(mm-ss.sq))
lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)
Esempio di lancio dei dadi:
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"
set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)
opar <- par(mar=c(3,2,0,0)+.1)
plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
abline(v=101,col=SAPMediumGray)
min.Ese <- 3.5
lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)
min.Eape <- 2
lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)
Riferimenti
Gneiting, T. Fare e valutare le previsioni dei punti . Journal of American Statistical Association , 2011, 106, 746-762
Goodwin, P. & Lawton, R. Sull'asimmetria del MAPE simmetrico . International Journal of Forecasting , 1999, 15, 405-408
Hoover, J. Misurazione della precisione delle previsioni: omissioni nei motori di previsione odierni e software di pianificazione della domanda . Foresight: The International Journal of Applied Forecasting , 2006, 4, 32-35
Kolassa, S. Perché la previsione del punto "migliore" dipende dall'errore o dalla misura di precisione (commento invitato alla competizione di previsione M4). International Journal of Forecasting , 2020, 36 (1), 208-211
Gli errori percentuali di Kolassa, S. & Martin, R. possono rovinare la giornata (e tirare i dadi mostra come) . Foresight: The International Journal of Applied Forecasting, 2011, 23, 21-29
Kolassa, S. & Schütz, W. Vantaggi del rapporto MAD / Mean rispetto al MAPE . Previsione: The International Journal of Applied Forecasting , 2007, 6, 40-43
McKenzie, J. Errore percentuale assoluto medio e parzialità nelle previsioni economiche . Lettere di economia , 2011, 113, 259-262