Qual è il punto di analisi delle serie temporali?


29

Qual è l'analisi delle serie temporali?

Esistono molti altri metodi statistici, come la regressione e l'apprendimento automatico, che presentano evidenti casi d'uso: la regressione può fornire informazioni sulla relazione tra due variabili, mentre l'apprendimento automatico è ottimo per la previsione.

Ma nel frattempo, non vedo a cosa serva l'analisi delle serie storiche. Certo, posso adattare un modello ARIMA e usarlo per la previsione, ma a che serve quando gli intervalli di confidenza per quella previsione saranno enormi? C'è un motivo per cui nessuno può prevedere il mercato azionario nonostante sia l'industria più guidata dai dati nella storia del mondo.

Allo stesso modo, come lo uso per comprendere ulteriormente il mio processo? Certo, posso tracciare l'ACF e andare "aha! C'è qualche dipendenza!", Ma poi? Qual e il punto? Ovviamente c'è dipendenza, ecco perché stai facendo l'analisi delle serie storiche per cominciare. Sapevi già che c'era dipendenza . Ma per cosa lo userai?


13
Esistono altri casi d'uso oltre alla finanza e all'economia in cui funzionano bene.
user2974951

29
Non puoi prevedere il mercato azionario utilizzando altri metodi statistici e di apprendimento automatico, questo li rende anche inutili ..?
Tim

16
Sembri implicare che ARIMA non è una forma di regressione. È.
Firebug,

10
Penso che questa sia una buona domanda, anche se la risposta sembra ovvia agli esperti.
gung - Ripristina Monica

6
Mi permetto di dissentire da @gung e altri, perché il minimo sforzo di ricerca risponderebbe.
whuber

Risposte:


54

Un uso principale è la . Ho dato da mangiare alla mia famiglia ormai da oltre un decennio, prevedendo quante unità di un prodotto specifico un supermercato venderà domani, così può ordinare abbastanza scorte, ma non troppo. Ci sono soldi in questo.

Altri casi d'uso di previsione sono riportati in pubblicazioni come l' International Journal of Forecasting o Foresight . (Informativa completa: sono un editore associato di Foresight .)

Sì, a volte gli sono enormi. (Presumo che tu intenda PI, non s. C'è una differenza. ) Ciò significa semplicemente che il processo è difficile da prevedere. Quindi è necessario mitigare. Nella previsione delle vendite nei supermercati, ciò significa che sono necessarie molte scorte di sicurezza. Nella previsione dell'innalzamento del livello del mare, ciò significa che è necessario costruire argini più alti. Direi che un ampio intervallo di previsione fornisce informazioni utili.

E per tutti i casi d'uso di previsione, l' analisi delle temporali è utile, sebbene la previsione sia un argomento più ampio. Spesso è possibile migliorare le previsioni prendendo in considerazione le dipendenze nelle serie temporali, quindi è necessario comprenderle attraverso l'analisi, che è più specifica del semplice sapere che esistono dipendenze.

Inoltre, le persone sono interessate alle serie storiche anche se non prevedono. Agli econometrici piace rilevare i punti di cambiamento nelle serie temporali macroeconomiche. O valutare l'impatto di un intervento, come un cambiamento delle leggi fiscali, sul PIL o qualcos'altro. Potresti voler sfogliare il tuo diario di econometria preferito per avere più ispirazione.


14
+1. È utile anche altrove. Fare un'analisi delle serie temporali ti avvertirà sicuramente di eventi (di cui non sapevi) che incidono su un risultato che ti interessa. Io e tutti i miei colleghi siamo rimasti completamente sbalorditi nel constatare che generalmente stavamo peggiorando leggermente le analisi chimiche dei prodotti la mattina di martedì. Lo abbiamo rintracciato in un programma di pulizia ben intenzionato che presentava alcuni punti deboli. Nel corso dell'anno abbiamo risparmiato quasi un milione e migliorato il prodotto ppk dall'1,7 all'1,9. Lezione appresa: eseguire sempre un'analisi rudimentale delle serie temporali su qualsiasi problema relativo alle variazioni.
Stian Yttervik,

+1. @Stephan Kolassa, la tua risposta evidenzia come vengono utilizzate le previsioni nel mondo reale, che è la mia interpretazione della domanda del PO. Il punto dell'intervallo di previsione e la (metà) lunghezza sono esattamente le informazioni che ti interessano per pianificare le strategie di mitigazione. Se stai costruendo argini per impedire l'allagamento di Manhattan e il tuo nuovo metodo delle serie storiche riduce abbastanza l'intervallo di previsione, puoi ridurre il costo della costruzione degli argini utilizzando solo le risorse necessarie. Mutatis mutandis si applica al tuo esempio di drogheria.
Lucas Roberts,

13

Obiettivi dell'analisi TS dalle diapositive delle lezioni di M. Dettling:

1) Analisi esplorativa: visualizzazione delle proprietà della serie

  • trama di serie storiche
  • decomposizione in trend / andamento stagionale / errore casuale
  • correlogramma per comprendere la struttura delle dipendenze

2) Modellazione: adattamento di un modello stocastico ai dati che rappresentano e riflettono le proprietà più importanti della serie

  • fatto esplorativo o con conoscenze precedenti
  • la scelta del modello e la stima dei parametri sono cruciali
  • inferenza: in che misura il modello si adatta ai dati?

3) Previsioni: previsione di osservazioni future con misura dell'incertezza

  • principalmente basato su modelli, utilizza dipendenze e dati passati
  • è un'estrapolazione, quindi spesso da prendere con un granello di sale
  • simile a guidare un'auto guardando nello specchietto retrovisore

4) Controllo processo: l'output di un processo (fisico) definisce una serie temporale

  • un modello stocastico è adattato ai dati osservati
  • questo consente di comprendere sia il segnale che il rumore
  • è possibile monitorare le fluttuazioni normali / anormali

5) Regressione delle serie temporali: modellazione di serie temporali di risposta utilizzando 1 o più serie di input Adattamento di questo modello in base a ipotesi di errore iid:

  • porta a stime imparziali, ma ...
  • errori standard spesso gravemente sbagliati
  • quindi, gli intervalli di confidenza e i test sono fuorvianti

Informazioni sul problema contrassegnato con lo stock:

  • Questi TS sono molto volatili, il che è difficile da modellare.
  • Ad esempio, un cambiamento in una legge che riguarda la società potrebbe portare a un cambiamento nel processo TS ... come potrebbe prevedere uno strumento statistico?

Informazioni sulla correlazione seriale:

  • Contrariamente alle statistiche multivariate, i dati in una serie temporale non sono generalmente identificati, ma sono correlati in serie.
  • Queste informazioni possono anche essere utili per rilevare qualcosa da non dire, ciò che dovrebbe essere, come ad esempio uno strumento di laboratorio sporco

1
Vorrei aggiungere la classificazione, ad esempio, ci sono numerose app che riconoscono la tua attività in base all'analisi dei dati dell'accelerometro del telefono.
SaiBot,

Interessante! Come fai a fare questo?
Nicole Origami Fox,

1
Penso che ci siano molti modi diversi. Un modo sarebbe consentire agli utenti di generare dati di formazione etichettando la loro attività. Una volta che hai potuto tagliare la tua serie temporale a intervalli (sovrapposti) (ad es. 3 secondi) e formare un modello di apprendimento automatico. Successivamente sarai in grado di classificare le attività senza etichetta.
SaiBot,

Grazie SaiBot. Vedo, devo considerare la combinazione di strumenti diversi più spesso :)
Nicole Origami Fox,

11

Il modo più semplice per rispondere alla tua domanda è capire che approssimativamente i set di dati sono spesso classificati come sezioni trasversali , serie temporali e pannello . La regressione trasversale è uno strumento di riferimento per i set di dati trasversali. Questo è ciò che la maggior parte delle persone conosce e fa riferimento a un termine regressione . La regressione delle serie temporali viene talvolta applicata alle serie storiche, ma l'analisi delle serie temporali ha una vasta gamma di strumenti oltre la regressione.

(X1,y1),(X2,y3),...,(Xn,yn)Xio,yioy~Xy^X

inserisci qui la descrizione dell'immagine

Se il campione non è stato casuale, la regressione potrebbe non funzionare affatto. Ad esempio, hai scelto solo le ragazze in prima elementare per stimare il modello, ma devi prevedere l'altezza di un alunno di terza media maschile. Quindi, la regressione ha i suoi problemi anche nella configurazione trasversale.

Xt,yt(X1,y1),(X2,y3),...,(Xn,yn)tX,y

inserisci qui la descrizione dell'immagine

t

Il terzo tipo di set di dati comune è un pannello, in particolare quello con i dati longitudinali. Qui, è possibile ottenere diverse istantanee di variabili di peso e altezza per un numero di studenti. Questo set di dati può apparire come ondate di sezioni trasversali o un insieme di serie temporali.

inserisci qui la descrizione dell'immagine

Naturalmente, questo può essere più complicato rispetto ai due tipi precedenti. Qui utilizziamo la regressione del pannello e altre tecniche speciali sviluppate per i pannelli.

Riassumendo, il motivo per cui la regressione delle serie storiche è considerata uno strumento distinto rispetto alla regressione trasversale è che le serie storiche presentano sfide uniche quando si tratta di ipotesi di indipendenza della tecnica di regressione. In particolare, a causa del fatto che, diversamente dall'analisi della sezione trasversale, l'ordine delle osservazioni è importante, di solito porta a tutti i tipi di strutture di correlazione e dipendenza, che a volte possono invalidare l'applicazione delle tecniche di regressione. Devi avere a che fare con la dipendenza, ed è esattamente ciò che fa bene l'analisi delle serie storiche.

Prevedibilità dei prezzi delle attività

Inoltre, stai ripetendo un malinteso comune sui mercati azionari e sui prezzi delle attività in generale, che non possono essere previsti. Questa affermazione è troppo generale per essere vera. È vero che non è possibile prevedere in modo affidabile il prossimo tick di AAPL in modo affidabile. Tuttavia, è un problema molto stretto. Se allarghi la tua rete scoprirai molte opportunità per fare soldi usando per tutti i tipi di previsioni (e in particolare l'analisi delle serie storiche). L'arbitraggio statistico è uno di questi campi.

Ora, il motivo per cui i prezzi degli asset sono difficili da prevedere a breve termine è dovuto al fatto che una grande componente delle variazioni dei prezzi sono nuove informazioni. Le informazioni veramente nuove che non possono essere realisticamente escogitate dal passato sono per definizione impossibili da prevedere. Tuttavia, questo è un modello idealizzato e molte persone sostengono che esistono anomalie che consentono la persistenza dello stato. Ciò significa che la parte della variazione di prezzo può essere spiegata in passato. In tali casi l'analisi delle serie temporali è del tutto appropriata perché si occupa esattamente della persistenza. Separa il nuovo dal vecchio, il nuovo è impossibile da prevedere, ma il vecchio viene trascinato dal passato al futuro. Se si riesce a spiegare anche un po ', nella finanza vuol dire che si puòessere in grado di fare soldi. Finché il prezzo della strategia costruita su tale previsione copre le entrate da essa generate.

Infine, dai un'occhiata al premio Nobel per l'economia nel 2013 : "è del tutto possibile prevedere l'ampio corso di questi prezzi per periodi più lunghi, come i prossimi tre o cinque anni". Dai un'occhiata alla lezione nobiliare di Shiller , discute della previsione dei prezzi delle attività.


6

L'analisi delle serie temporali può anche contribuire all'effettiva anomalia o al rilevamento anomalo nei dati temporali.

Ad esempio, è possibile adattare un modello ARIMA e calcolare un intervallo di previsione. A seconda del caso d'uso, l'intervallo può essere utilizzato per impostare una soglia, entro la quale si può dire che il processo è sotto controllo; se i nuovi dati non rientrano nella soglia, vengono contrassegnati per ulteriore attenzione.

Questo post sul blog presenta una breve e ampia panoramica dell'analisi delle serie temporali per il rilevamento anomalo. Per un trattamento più approfondito, i ricercatori di ebay spiegano come hanno effettuato il rilevamento di anomalie su larga scala in base all'analisi statistica dei dati delle serie temporali.


6

Esistono molti altri metodi statistici, come la regressione e l'apprendimento automatico, che presentano evidenti casi d'uso: la regressione può fornire informazioni sulla relazione tra due variabili, mentre l'apprendimento automatico è ottimo per la previsione.

Di seguito rispondi alla tua domanda: autocorrelazione. Le serie temporali di solito ce l'hanno, violando un'ipotesi di regressione OLS di base. Le tecniche delle serie storiche hanno le ipotesi appropriate per le serie storiche.

I metodi di apprendimento automatico che si occupano di dati sequenziali sono specializzati, come le reti neurali ricorrenti (RNN) o le reti neurali convoluzionali 1-D (CNN), quindi hai ancora tecniche specializzate per le serie temporali.

Ma nel frattempo, non vedo a cosa serva l'analisi delle serie storiche. Certo, posso adattare un modello ARIMA e usarlo per la previsione, ma a che serve quando gli intervalli di confidenza per quella previsione saranno enormi? C'è un motivo per cui nessuno può prevedere il mercato azionario nonostante sia l'industria più guidata dai dati nella storia del mondo.

Gli intervalli di confidenza (EC) risultanti da una tecnica di serie storiche saranno probabilmente più grandi di quelli di una regressione non di serie storiche. Questa funzione è nota per essere accurata. In generale, quando si utilizza una regressione non di serie temporali, l'elemento della configurazione sarà più piccolo ma non è corretto perché si sono violati i suoi presupposti. Se tutto ciò che vuoi fare è presentare un grafico con piccoli elementi della configurazione, crearli o saltare interamente gli elementi della configurazione, ma se desideri elementi della configurazione appropriati usi tecniche appropriate.

Il mercato azionario è difficile da prevedere a causa della sua natura. Altre serie storiche sono molto più prevedibili. Prova a utilizzare la tua tecnica di apprendimento automatico nel mercato azionario e dubito che avrai più successo.

Allo stesso modo, come lo uso per comprendere ulteriormente il mio processo? Certo, posso tracciare l'ACF e andare "aha! C'è qualche dipendenza!", Ma poi? Qual e il punto? Ovviamente c'è dipendenza, ecco perché stai facendo un'analisi delle serie storiche per cominciare. Sapevi già che c'era dipendenza. Ma per cosa lo userai?

Per prevedere. Per vedere la stagionalità. Per avere un'idea della variabilità dei dati nelle diverse stagioni. Per non parlare del fatto che esistono tecniche di serie storiche più potenti dell'ARIMA della vecchia scuola, come i metodi dello spazio spaziale. ARIMA non è la tecnica migliore per la modellazione di serie storiche. (In effetti, la procedura ARIMA nel tuo software statistico di scelta sta probabilmente usando una rappresentazione dello spazio statale sotto il cofano.)


5

Per aggiungere un po 'di colore alla risposta del rilevamento delle anomalie da parte di redhq, al lavoro costruisco modelli di rilevamento delle anomalie per metriche operative come vendite e flussi di traffico. Facciamo l'analisi delle serie temporali per capire quali dovrebbero essere le vendite se tutto funziona come previsto, quindi confrontiamo questi con i valori osservati per vedere se il sito Web è rotto. È importante perché per ogni minuto in cui il sito è inattivo stiamo perdendo molti soldi.

Esistono diversi metodi che è possibile utilizzare e metodi diversi tentano di eseguire operazioni diverse in molti casi. Ad esempio, il principale metodo statistico che ho usato per il rilevamento delle anomalie delle vendite è chiamato "STL" (decomposizione del trend stagionale utilizzando loess). Ciò separa la stagionalità regolare, l'andamento e il rumore casuale. In realtà lo usiamo per identificare le stagionalità giornaliere e settimanali. Quindi eliminiamo il rumore e combiniamo la tendenza / stagionalità per stimare le vendite previste. Quindi nel nostro caso utilizziamo l'approccio per capire come le vendite variano con l'ora del giorno e l'ora della settimana ed escludere il rumore casuale dalle stime.


Sembra che si costruiscano modelli di serie temporali che non presumono anomalie, quindi potrebbero non essere robusti rispetto alle strategie di identificazione dei modelli che consentono esplicitamente l'identificazione simultanea della predizione SARIMA e l'attesa di essere scoperti Struttura di intervento (impulsi, spostamento di livello / gradino , impulsi stagionali, andamenti dell'ora locale)
IrishStat

L'algo STL ha un flag di robustezza (controlla il numero di iterazioni di un ciclo di smoothing). Funziona molto bene per le nostre serie storiche comunque.
Willie Wheeler,

Il numero di iterazioni non ha a che fare con il pregiudizio in forma di modello se è presente una struttura deterministica in attesa di essere scoperta.
IrishStat,

3

Oltre alle eccellenti risposte fornite da altri, vorrei commentare come vengono utilizzate le analisi delle serie storiche nell'ingegneria elettrica.

Una grande parte dell'ingegneria elettrica consiste nella modulazione di tensioni e correnti per trasmettere informazioni o nell'uso di sensori per convertire un segnale fisico (come un'onda sonora) in una forma elettrica, dalla quale un computer dovrebbe prendere una decisione. Un convertitore da analogico a digitale (A / D) traduce questi segnali in una serie di campioni discreti distribuiti uniformemente (nel tempo) o in una serie temporale! I metodi di analisi delle serie storiche sono alla base di quasi tutti i moderni algoritmi di elaborazione del segnale.

Ad esempio, l'elaborazione del parlato consiste nell'utilizzare un microfono per convertire un'onda sonora in una tensione elettrica, che viene campionata da un A / D, dopo di che viene creato un modello di serie temporale del segnale. Ad esempio, i programmatori predittivi lineari (LPC) nei telefoni cellulari creano un modello ARMA delle parole pronunciate e trasmettono i coefficienti del modello (insieme a un indice che rappresenta un segnale di eccitazione da un dizionario predefinito) anziché i campioni di dati stessi per ottenere compressione dati.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.