Qual è l'analisi delle serie temporali?

Esistono molti altri metodi statistici, come la regressione e l'apprendimento automatico, che presentano evidenti casi d'uso: la regressione può fornire informazioni sulla relazione tra due variabili, mentre l'apprendimento automatico è ottimo per la previsione.

Ma nel frattempo, non vedo a cosa serva l'analisi delle serie storiche. Certo, posso adattare un modello ARIMA e usarlo per la previsione, ma a che serve quando gli intervalli di confidenza per quella previsione saranno enormi? C'è un motivo per cui nessuno può prevedere il mercato azionario nonostante sia l'industria più guidata dai dati nella storia del mondo.

Allo stesso modo, come lo uso per comprendere ulteriormente il mio processo? Certo, posso tracciare l'ACF e andare "aha! C'è qualche dipendenza!", Ma poi? Qual e il punto? Ovviamente c'è dipendenza, ecco perché stai facendo l'analisi delle serie storiche per cominciare. Sapevi già che c'era dipendenza . Ma per cosa lo userai?

Un uso principale è la previsione . Ho dato da mangiare alla mia famiglia ormai da oltre un decennio, prevedendo quante unità di un prodotto specifico un supermercato venderà domani, così può ordinare abbastanza scorte, ma non troppo. Ci sono soldi in questo.

Altri casi d'uso di previsione sono riportati in pubblicazioni come l' International Journal of Forecasting o Foresight . (Informativa completa: sono un editore associato di Foresight .)

Sì, a volte gli intervalli di predizione sono enormi. (Presumo che tu intenda PI, non intervallo di confidenza s. C'è una differenza. ) Ciò significa semplicemente che il processo è difficile da prevedere. Quindi è necessario mitigare. Nella previsione delle vendite nei supermercati, ciò significa che sono necessarie molte scorte di sicurezza. Nella previsione dell'innalzamento del livello del mare, ciò significa che è necessario costruire argini più alti. Direi che un ampio intervallo di previsione fornisce informazioni utili.

E per tutti i casi d'uso di previsione, l' analisi delle serie temporali è utile, sebbene la previsione sia un argomento più ampio. Spesso è possibile migliorare le previsioni prendendo in considerazione le dipendenze nelle serie temporali, quindi è necessario comprenderle attraverso l'analisi, che è più specifica del semplice sapere che esistono dipendenze.

Inoltre, le persone sono interessate alle serie storiche anche se non prevedono. Agli econometrici piace rilevare i punti di cambiamento nelle serie temporali macroeconomiche. O valutare l'impatto di un intervento, come un cambiamento delle leggi fiscali, sul PIL o qualcos'altro. Potresti voler sfogliare il tuo diario di econometria preferito per avere più ispirazione.

Obiettivi dell'analisi TS dalle diapositive delle lezioni di M. Dettling:

1) Analisi esplorativa: visualizzazione delle proprietà della serie

• trama di serie storiche
• decomposizione in trend / andamento stagionale / errore casuale
• correlogramma per comprendere la struttura delle dipendenze

2) Modellazione: adattamento di un modello stocastico ai dati che rappresentano e riflettono le proprietà più importanti della serie

• fatto esplorativo o con conoscenze precedenti
• la scelta del modello e la stima dei parametri sono cruciali
• inferenza: in che misura il modello si adatta ai dati?

3) Previsioni: previsione di osservazioni future con misura dell'incertezza

• principalmente basato su modelli, utilizza dipendenze e dati passati
• è un'estrapolazione, quindi spesso da prendere con un granello di sale
• simile a guidare un'auto guardando nello specchietto retrovisore

4) Controllo processo: l'output di un processo (fisico) definisce una serie temporale

• un modello stocastico è adattato ai dati osservati
• questo consente di comprendere sia il segnale che il rumore
• è possibile monitorare le fluttuazioni normali / anormali

5) Regressione delle serie temporali: modellazione di serie temporali di risposta utilizzando 1 o più serie di input Adattamento di questo modello in base a ipotesi di errore iid:

• porta a stime imparziali, ma ...
• errori standard spesso gravemente sbagliati
• quindi, gli intervalli di confidenza e i test sono fuorvianti

Informazioni sul problema contrassegnato con lo stock:

• Questi TS sono molto volatili, il che è difficile da modellare.
• Ad esempio, un cambiamento in una legge che riguarda la società potrebbe portare a un cambiamento nel processo TS ... come potrebbe prevedere uno strumento statistico?

Informazioni sulla correlazione seriale:

• Contrariamente alle statistiche multivariate, i dati in una serie temporale non sono generalmente identificati, ma sono correlati in serie.
• Queste informazioni possono anche essere utili per rilevare qualcosa da non dire, ciò che dovrebbe essere, come ad esempio uno strumento di laboratorio sporco

Il modo più semplice per rispondere alla tua domanda è capire che approssimativamente i set di dati sono spesso classificati come sezioni trasversali , serie temporali e pannello . La regressione trasversale è uno strumento di riferimento per i set di dati trasversali. Questo è ciò che la maggior parte delle persone conosce e fa riferimento a un termine regressione . La regressione delle serie temporali viene talvolta applicata alle serie storiche, ma l'analisi delle serie temporali ha una vasta gamma di strumenti oltre la regressione.

$(x_1,y_1),(x_2,y_3),\dots,(x_n,y_n)$$x_i,y_i$$y\sim x$$\hat y$$x$

Se il campione non è stato casuale, la regressione potrebbe non funzionare affatto. Ad esempio, hai scelto solo le ragazze in prima elementare per stimare il modello, ma devi prevedere l'altezza di un alunno di terza media maschile. Quindi, la regressione ha i suoi problemi anche nella configurazione trasversale.

$x_t,y_t$$(x_1,y_1),(x_2,y_3),\dots,(x_n,y_n)$$t$$x,y$

$t$

Il terzo tipo di set di dati comune è un pannello, in particolare quello con i dati longitudinali. Qui, è possibile ottenere diverse istantanee di variabili di peso e altezza per un numero di studenti. Questo set di dati può apparire come ondate di sezioni trasversali o un insieme di serie temporali.

Naturalmente, questo può essere più complicato rispetto ai due tipi precedenti. Qui utilizziamo la regressione del pannello e altre tecniche speciali sviluppate per i pannelli.

Riassumendo, il motivo per cui la regressione delle serie storiche è considerata uno strumento distinto rispetto alla regressione trasversale è che le serie storiche presentano sfide uniche quando si tratta di ipotesi di indipendenza della tecnica di regressione. In particolare, a causa del fatto che, diversamente dall'analisi della sezione trasversale, l'ordine delle osservazioni è importante, di solito porta a tutti i tipi di strutture di correlazione e dipendenza, che a volte possono invalidare l'applicazione delle tecniche di regressione. Devi avere a che fare con la dipendenza, ed è esattamente ciò che fa bene l'analisi delle serie storiche.

Prevedibilità dei prezzi delle attività

Inoltre, stai ripetendo un malinteso comune sui mercati azionari e sui prezzi delle attività in generale, che non possono essere previsti. Questa affermazione è troppo generale per essere vera. È vero che non è possibile prevedere in modo affidabile il prossimo tick di AAPL in modo affidabile. Tuttavia, è un problema molto stretto. Se allarghi la tua rete scoprirai molte opportunità per fare soldi usando per tutti i tipi di previsioni (e in particolare l'analisi delle serie storiche). L'arbitraggio statistico è uno di questi campi.

Ora, il motivo per cui i prezzi degli asset sono difficili da prevedere a breve termine è dovuto al fatto che una grande componente delle variazioni dei prezzi sono nuove informazioni. Le informazioni veramente nuove che non possono essere realisticamente escogitate dal passato sono per definizione impossibili da prevedere. Tuttavia, questo è un modello idealizzato e molte persone sostengono che esistono anomalie che consentono la persistenza dello stato. Ciò significa che la parte della variazione di prezzo può essere spiegata in passato. In tali casi l'analisi delle serie temporali è del tutto appropriata perché si occupa esattamente della persistenza. Separa il nuovo dal vecchio, il nuovo è impossibile da prevedere, ma il vecchio viene trascinato dal passato al futuro. Se si riesce a spiegare anche un po ', nella finanza vuol dire che si puòessere in grado di fare soldi. Finché il prezzo della strategia costruita su tale previsione copre le entrate da essa generate.

Infine, dai un'occhiata al premio Nobel per l'economia nel 2013 : "è del tutto possibile prevedere l'ampio corso di questi prezzi per periodi più lunghi, come i prossimi tre o cinque anni". Dai un'occhiata alla lezione nobiliare di Shiller , discute della previsione dei prezzi delle attività.

L'analisi delle serie temporali può anche contribuire all'effettiva anomalia o al rilevamento anomalo nei dati temporali.

Ad esempio, è possibile adattare un modello ARIMA e calcolare un intervallo di previsione. A seconda del caso d'uso, l'intervallo può essere utilizzato per impostare una soglia, entro la quale si può dire che il processo è sotto controllo; se i nuovi dati non rientrano nella soglia, vengono contrassegnati per ulteriore attenzione.

Questo post sul blog presenta una breve e ampia panoramica dell'analisi delle serie temporali per il rilevamento anomalo. Per un trattamento più approfondito, i ricercatori di ebay spiegano come hanno effettuato il rilevamento di anomalie su larga scala in base all'analisi statistica dei dati delle serie temporali.

Esistono molti altri metodi statistici, come la regressione e l'apprendimento automatico, che presentano evidenti casi d'uso: la regressione può fornire informazioni sulla relazione tra due variabili, mentre l'apprendimento automatico è ottimo per la previsione.

Di seguito rispondi alla tua domanda: autocorrelazione. Le serie temporali di solito ce l'hanno, violando un'ipotesi di regressione OLS di base. Le tecniche delle serie storiche hanno le ipotesi appropriate per le serie storiche.

I metodi di apprendimento automatico che si occupano di dati sequenziali sono specializzati, come le reti neurali ricorrenti (RNN) o le reti neurali convoluzionali 1-D (CNN), quindi hai ancora tecniche specializzate per le serie temporali.

Ma nel frattempo, non vedo a cosa serva l'analisi delle serie storiche. Certo, posso adattare un modello ARIMA e usarlo per la previsione, ma a che serve quando gli intervalli di confidenza per quella previsione saranno enormi? C'è un motivo per cui nessuno può prevedere il mercato azionario nonostante sia l'industria più guidata dai dati nella storia del mondo.

Gli intervalli di confidenza (EC) risultanti da una tecnica di serie storiche saranno probabilmente più grandi di quelli di una regressione non di serie storiche. Questa funzione è nota per essere accurata. In generale, quando si utilizza una regressione non di serie temporali, l'elemento della configurazione sarà più piccolo ma non è corretto perché si sono violati i suoi presupposti. Se tutto ciò che vuoi fare è presentare un grafico con piccoli elementi della configurazione, crearli o saltare interamente gli elementi della configurazione, ma se desideri elementi della configurazione appropriati usi tecniche appropriate.

Il mercato azionario è difficile da prevedere a causa della sua natura. Altre serie storiche sono molto più prevedibili. Prova a utilizzare la tua tecnica di apprendimento automatico nel mercato azionario e dubito che avrai più successo.

Allo stesso modo, come lo uso per comprendere ulteriormente il mio processo? Certo, posso tracciare l'ACF e andare "aha! C'è qualche dipendenza!", Ma poi? Qual e il punto? Ovviamente c'è dipendenza, ecco perché stai facendo un'analisi delle serie storiche per cominciare. Sapevi già che c'era dipendenza. Ma per cosa lo userai?

Per prevedere. Per vedere la stagionalità. Per avere un'idea della variabilità dei dati nelle diverse stagioni. Per non parlare del fatto che esistono tecniche di serie storiche più potenti dell'ARIMA della vecchia scuola, come i metodi dello spazio spaziale. ARIMA non è la tecnica migliore per la modellazione di serie storiche. (In effetti, la procedura ARIMA nel tuo software statistico di scelta sta probabilmente usando una rappresentazione dello spazio statale sotto il cofano.)

Per aggiungere un po 'di colore alla risposta del rilevamento delle anomalie da parte di redhq, al lavoro costruisco modelli di rilevamento delle anomalie per metriche operative come vendite e flussi di traffico. Facciamo l'analisi delle serie temporali per capire quali dovrebbero essere le vendite se tutto funziona come previsto, quindi confrontiamo questi con i valori osservati per vedere se il sito Web è rotto. È importante perché per ogni minuto in cui il sito è inattivo stiamo perdendo molti soldi.

Esistono diversi metodi che è possibile utilizzare e metodi diversi tentano di eseguire operazioni diverse in molti casi. Ad esempio, il principale metodo statistico che ho usato per il rilevamento delle anomalie delle vendite è chiamato "STL" (decomposizione del trend stagionale utilizzando loess). Ciò separa la stagionalità regolare, l'andamento e il rumore casuale. In realtà lo usiamo per identificare le stagionalità giornaliere e settimanali. Quindi eliminiamo il rumore e combiniamo la tendenza / stagionalità per stimare le vendite previste. Quindi nel nostro caso utilizziamo l'approccio per capire come le vendite variano con l'ora del giorno e l'ora della settimana ed escludere il rumore casuale dalle stime.

Oltre alle eccellenti risposte fornite da altri, vorrei commentare come vengono utilizzate le analisi delle serie storiche nell'ingegneria elettrica.

Una grande parte dell'ingegneria elettrica consiste nella modulazione di tensioni e correnti per trasmettere informazioni o nell'uso di sensori per convertire un segnale fisico (come un'onda sonora) in una forma elettrica, dalla quale un computer dovrebbe prendere una decisione. Un convertitore da analogico a digitale (A / D) traduce questi segnali in una serie di campioni discreti distribuiti uniformemente (nel tempo) o in una serie temporale! I metodi di analisi delle serie storiche sono alla base di quasi tutti i moderni algoritmi di elaborazione del segnale.

Ad esempio, l'elaborazione del parlato consiste nell'utilizzare un microfono per convertire un'onda sonora in una tensione elettrica, che viene campionata da un A / D, dopo di che viene creato un modello di serie temporale del segnale. Ad esempio, i programmatori predittivi lineari (LPC) nei telefoni cellulari creano un modello ARMA delle parole pronunciate e trasmettono i coefficienti del modello (insieme a un indice che rappresenta un segnale di eccitazione da un dizionario predefinito) anziché i campioni di dati stessi per ottenere compressione dati.