È insolito che il MEAN superi l'ARIMA?


38

Di recente ho applicato una serie di metodi di previsione (MEAN, RWF, ETS, ARIMA e MLP) e ho scoperto che MEAN ha fatto sorprendentemente bene. (MEAN: dove tutte le previsioni future sono previste uguali alla media aritmetica dei valori osservati.) MEAN ha persino sovraperformato ARIMA sulle tre serie che ho usato.

Quello che voglio sapere è se questo è insolito? Questo significa che le serie temporali che sto usando sono strane? O questo indica che ho impostato qualcosa di sbagliato?



@Mehrdad si potrebbe sicuramente creare una bella risposta intorno a Martingales.
Shadowtalker,

1
È abbastanza comune che i metodi semplici funzionino bene, specialmente fuori campione (che è dove conta). Questo effetto diventa più forte nelle serie brevi. Se non c'è molta correlazione o tendenza seriale, allora ci aspetteremmo che il mezzo funzioni molto bene anche con serie relativamente lunghe.
Glen_b

Risposte:


31

Sono un praticante, sia produttore che utente di previsioni e NON uno statistico esperto. Di seguito condivido alcuni dei miei pensieri sul perché la tua previsione media è risultata migliore di ARIMA facendo riferimento a un articolo di ricerca che si basa su prove empiriche. Un libro che più volte torno a fare riferimento è il libro Principi di previsione di Armstrong e il suo sito Web che consiglierei come una lettura eccellente per qualsiasi meteorologo, offre una visione approfondita dell'uso e dei principi guida dei metodi di estrapolazione.

Per rispondere alla prima domanda : quello che voglio sapere è se questo è insolito?

Esiste un capitolo chiamato Extrapolation for Time-Series and Cross-Sectional Data, anch'esso disponibile gratuitamente nello stesso sito Web . Quanto segue è la citazione dal capitolo

"Ad esempio, nella competizione M2 in tempo reale, che ha esaminato 29 serie mensili, Box-Jenkins si è rivelato uno dei metodi meno accurati e il suo errore mediano complessivo è stato del 17% superiore a quello di una previsione ingenua"

Esistono prove empiriche sul perché le tue previsioni medie fossero migliori dei modelli ARIMA.

C'è stato anche uno studio dopo l'altro in competizioni empiriche e la terza competizione M3 che mostra Box - L'approccio ARIMA di Jenkins non riesce a produrre previsioni accurate e manca di prove del fatto che si comporta meglio per l'estrapolazione univariata di tendenze.

C'è anche un altro articolo e uno studio in corso di Greene e Armstrong intitolato " Previsioni semplici: evitare le lacrime prima di coricarsi " nello stesso sito web. Gli autori dell'articolo riassumono come segue:

In totale abbiamo identificato 29 articoli che incorporano 94 confronti formali sull'accuratezza delle previsioni di metodi complessi con quelli di metodi semplici, ma non sempre sofisticatamente semplici. L'ottantatre percento dei confronti ha rilevato che le previsioni di metodi semplici erano più accurate o analogamente accurate di quelle di metodi complessi. In media, gli errori delle previsioni di metodi complessi erano circa il 32 percento maggiori degli errori di previsioni di metodi semplici nei 21 studi che forniscono confronti di errori

Per rispondere alla tua terza domanda : questo indica che ho impostato qualcosa di sbagliato? No, prenderei in considerazione ARIMA come metodo complesso e la previsione media come metodi semplici. Vi sono ampie prove che metodi semplici come la previsione media superano i metodi complessi come ARIMA.

Per rispondere alla tua seconda domanda : questo significa che le serie temporali che sto usando sono strane?

Di seguito sono riportati quelli che ho considerato esperti nelle previsioni del mondo reale:

  • Makridakis (Pioniera della competizione empirica sulla previsione chiamata M, M2 e M3, e spianata la strada a metodi basati sull'evidenza nella previsione)
  • Armstrong (fornisce informazioni preziose sotto forma di libri / articoli sulla pratica delle previsioni)
  • Gardner (Invented Damped Trend smoothing esponenziale di un altro metodo semplice che funziona sorprendentemente bene contro ARIMA)

Tutti i ricercatori sopra citati sostengono la semplicità (metodi come la tua previsione media) rispetto a metodi complessi come ARIMA. Quindi dovresti sentirti a tuo agio che le tue previsioni sono buone e favorire sempre la semplicità rispetto alla complessità sulla base di prove empiriche. Tutti questi ricercatori hanno contribuito immensamente al campo della previsione applicata.

Oltre alla buona lista di Stephan del semplice metodo di previsione. esiste anche un altro metodo chiamato metodo di previsione Theta che è un metodo molto semplice (fondamentalmente un semplice livellamento esponenziale con una deriva che equivale a 1/2 della pendenza della regressione lineare). Aggiungerei questo alla tua cassetta degli attrezzi. Forecast package in Rimplementa questo metodo.


2
Mi piace molto la prospettiva che fornisci sulla previsione e le prove che fornisci per sostenerla, ma elementi di questa risposta sono discutibili perché leggono troppo come un rant contro gli "statistici" o forse contro la formazione statistica formale - e sono completamente sbagliati . Ad esempio, i gradi avanzati di Makridakis sono in (indovinate cosa?) Le statistiche , questo è ciò che insegna, ed è quello che fa.
whuber

1
Capito, lo rimuoverò. Stavo cercando di evidenziare che i maggiori progressi sui metodi basati sull'evidenza provenivano da non statistici. Ma vedo il tuo punto che potrebbe presentarsi così
previsioni

Fatto, inoltre, Makridakis PHD era in Management Information Systems secondo questa intervista pubblicata
previsioni

FWIW, la sua pagina LinkedIn - che sostiene - elenca entrambi i suoi dottorati in statistica. Ma l'argomento è inutile: affermare che qualcuno non è uno statistico perché il loro grado potrebbe non essere specificamente in statistica ha poco valore ed è a parte il punto qui. (Fino a poco tempo fa la maggior parte delle persone la cui carriera era in statistica aveva lauree in altri campi perché c'erano pochi programmi statistici disponibili.)
whuber

2
+1. Tuttavia, scrivi "Esistono prove empiriche sul perché le tue previsioni medie fossero migliori dei modelli ARIMA". - no, questo ci dice solo che la media era migliore (in questo caso specifico), non perché . Rifiuterei l'argomento e metterei l'onere della prova su ARIMA e altri modelli. Non ho mai capito bene perché il processo di generazione dei dati dovrebbe preoccuparsi degli errori passati rispetto al mio modello, che è ciò che MA definisce essenzialmente modello. Il mio sospetto personale è che ARIMA sia così popolare perché puoi effettivamente provare cose, come le radici delle unità e la stazionarietà - non perché preveda bene.
S. Kolassa - Ripristina Monica il

36

Questo non è affatto sorprendente . Nella previsione, molto spesso trovi metodi estremamente semplici, come

  • la media complessiva
  • l'ingenua passeggiata casuale (cioè l'ultima osservazione usata come previsione)
  • una camminata casuale stagionale (cioè l'osservazione di un anno fa)
  • Singolo livellamento esponenziale

supera i metodi più complessi. Ecco perché dovresti sempre testare i tuoi metodi con questi benchmark molto semplici.

Una citazione di George Athanosopoulos e Rob Hyndman (che sono esperti nel settore):

Alcuni metodi di previsione sono molto semplici e sorprendentemente efficaci.

Nota come affermano esplicitamente che useranno alcuni metodi molto semplici come parametri di riferimento.

In effetti, il loro intero libro di testo online gratuito e gratuito sulle previsioni è molto raccomandato.

EDIT: una delle misure di errore di previsione meglio accettate, il Mean Absolute Scaled Error (MASE) di Hyndman & Koehler (vedi anche qui ) misura quanto migliora una data previsione sulla previsione di camminata casuale ingenua (nel campione): se MASE <1, la tua previsione è migliore della camminata casuale nel campione. Ti aspetteresti che questo sia un limite facilmente battibile, giusto?

Non è così: a volte, anche il migliore dei metodi di previsione standard multipli come ARIMA o ETS produrrà solo un MASE di 1,38, vale a dire essere peggiore (fuori dal campione) rispetto alla previsione (casuale) del cammino. Questo è sufficientemente sconcertante per generare domande qui. (Questa domanda non è un duplicato di questa, poiché il MASE confronta l'accuratezza fuori dal campione con l'accuratezza nel campione di un metodo ingenuo, ma è anche illuminante per la presente domanda.)


1
Grazie per aver accettato, ma forse vuoi aspettare un giorno - se una domanda ha accettato le risposte, meno persone lo leggeranno, figuriamoci nel commentare o rispondere. E altre persone potrebbero avere opinioni diverse su questo. Sentiti libero di non accettare ;-)
S. Kolassa - Ripristina Monica il

È molto onesto da parte tua :) Ci darò un giorno. Grazie.
Andy T,

9
"complesso" è un parente stretto di "troppo equipaggiato".
Shadowtalker,

1
+1 bella risposta. Se la previsione fosse un campo basato sull'evidenza come la medicina, il metodo ARIMA sarebbe la storia.
previsioni

2
ARIMA di mentalità semplice senza convalidare i presupposti gaussiani è già storia per la maggior parte di noi, ma apparentemente non per tutti!
IrishStat,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.