Qual è / sono la differenza "meccanica" tra la regressione lineare multipla con ritardi e serie temporali?

Sono laureato in economia e commercio e attualmente studia per un master in ingegneria dei dati. Mentre studiavo la regressione lineare (LR) e poi l'analisi delle serie storiche (TS), mi è venuta in mente una domanda. Perché creare un metodo completamente nuovo, ovvero serie temporali (ARIMA), invece di utilizzare la regressione lineare multipla e di aggiungere variabili ritardate (con l'ordine dei ritardi determinato utilizzando ACF e PACF)? Quindi l'insegnante mi ha suggerito di scrivere un piccolo saggio sull'argomento. Non sarei venuto a cercare aiuto a mani vuote, quindi ho fatto le mie ricerche sull'argomento.

Sapevo già che quando si utilizza LR, se le assunzioni di Gauss-Markov vengono violate, la regressione OLS non è corretta e ciò accade quando si utilizzano i dati delle serie temporali (autocorrelazione, ecc.). (un'altra domanda su questo, un'ipotesi GM è che le variabili indipendenti dovrebbero essere normalmente distribuite? o solo la variabile dipendente subordinata a quelle indipendenti?)

So anche che quando si utilizza una regressione del ritardo distribuita, che è ciò che penso di proporre qui, e usando OLS per stimare i parametri, la multicollinearità tra le variabili può (ovviamente) sorgere, quindi le stime sarebbero sbagliate.

In un post simile su TS e LR qui, @IrishStat ha detto:

... un modello di regressione è un caso particolare di un modello di funzione di trasferimento noto anche come modello di regressione dinamica o modello XARMAX. Il punto saliente è l'identificazione del modello in serie temporali, ovvero le differenze appropriate, i ritardi appropriati delle X, la struttura ARIMA appropriata, l'identificazione appropriata di strutture deterministiche non specificate come impulsi, spostamenti di livello, andamenti dell'ora locale, impulsi stagionali e incorporazione delle modifiche ai parametri o alla varianza dell'errore .

(Ho anche letto il suo articolo in Autobox su Box Jenkins vs LR.) Ma questo non risolve ancora la mia domanda (o almeno non chiarisce le diverse meccaniche di RL e TS per me).

È ovvio che anche con variabili ritardate sorgono problemi OLS e non è efficiente né corretto, ma quando si utilizza la massima probabilità, questi problemi persistono? Ho letto che ARIMA è stimato con la massima probabilità, quindi se l'LR con ritardi è stimato con ML anziché OLS, produce i coefficienti "corretti" (supponiamo che includiamo anche termini di errore ritardati, come un ordine MA q).

In breve, il problema è OLS? Il problema è stato risolto applicando ML?

Perché creare un metodo completamente nuovo, ovvero serie temporali (ARIMA), invece di utilizzare la regressione lineare multipla e di aggiungere variabili ritardate (con l'ordine dei ritardi determinato utilizzando ACF e PACF)?

Un punto immediato è che una regressione lineare funziona solo con le variabili osservate mentre ARIMA incorpora variabili non osservate nella parte della media mobile; quindi, ARIMA è più flessibile, o più generale, in un certo senso. Il modello AR può essere visto come un modello di regressione lineare e i suoi coefficienti possono essere stimati usando OLS; $\hat\beta_{OLS}=(X'X)^{-1}X'y$$X$e quindi lo stimatore OLS è impossibile.

un'ipotesi GM è che le variabili indipendenti dovrebbero essere normalmente distribuite? o solo la variabile dipendente subordinata a quella indipendente?

L'ipotesi di normalità viene talvolta invocata per errori del modello, non per variabili indipendenti. Tuttavia, la normalità non è richiesta né per la coerenza e l'efficienza dello stimatore OLS né per il teorema di Gauss-Markov. L' articolo di Wikipedia sul teorema di Gauss-Markov afferma esplicitamente che "Gli errori non devono essere normali".

la multicollinearità tra le variabili può (ovviamente) sorgere, quindi le stime sarebbero errate.

Un alto grado di multicollinearità significa varianza gonfiata dello stimatore OLS. Tuttavia, lo stimatore OLS è ancora BLU fintanto che la multicollinearità non è perfetta. Quindi la tua affermazione non sembra corretta.

È ovvio che anche con variabili ritardate sorgono problemi OLS e non è efficiente né corretto, ma quando si utilizza la massima probabilità, questi problemi persistono?

Un modello AR può essere stimato utilizzando sia OLS che ML; entrambi questi metodi forniscono stimatori coerenti. I modelli MA e ARMA non possono essere stimati da OLS, quindi ML è la scelta principale; di nuovo, è coerente. L'altra proprietà interessante è l'efficienza, e qui non ne sono completamente sicuro (ma chiaramente le informazioni dovrebbero essere disponibili da qualche parte poiché la domanda è piuttosto standard). Vorrei provare a commentare la "correttezza", ma non sono sicuro di cosa tu voglia dire.

Questa è un'ottima domanda. La vera differenza tra i modelli ARIMA e la regressione lineare multipla sta nella struttura dell'errore. È possibile manipolare le variabili indipendenti in un modello di regressione lineare multipla in modo che si adattino ai dati delle serie temporali, cosa che sta dicendo @IrishStat. Tuttavia, successivamente, è necessario incorporare gli errori ARIMA nel modello di regressione multipla per ottenere i coefficienti e i risultati dei test corretti. Un ottimo libro gratuito su questo è: https://www.otexts.org/fpp/9/1 . Ho collegato la sezione che discute sulla combinazione di ARIMA e modelli di regressione multipla.

Bella domanda, in realtà ho costruito entrambi nel mio lavoro di giorno come Data Scientist. I modelli di serie temporali sono facili da costruire (il pacchetto di previsione in R consente di crearne uno in meno in 5 secondi), lo stesso o più accurato dei modelli di regressione, ecc. Generalmente, si dovrebbero sempre costruire serie temporali, quindi regressione. Ci sono anche implicazioni filosofiche delle serie storiche, se puoi prevedere senza sapere nulla, allora cosa significa?

La mia opinione su Darlington. 1) "La regressione è molto più flessibile e potente, producendo modelli migliori. Questo punto è sviluppato in numerosi punti durante il lavoro."

No, al contrario. I modelli di regressione fanno molte più ipotesi rispetto ai modelli di serie storiche. Meno sono le ipotesi, più è probabile la capacità di resistere al terremoto (cambio di regime). Inoltre, i modelli di serie temporali rispondono più rapidamente ai cambiamenti improvvisi.

2) "La regressione è molto più facile da padroneggiare di ARIMA, almeno per coloro che hanno già familiarità con l'uso della regressione in altre aree." Questo è un ragionamento circolare.

3) "La regressione utilizza un algoritmo computazionale" chiuso "che è essenzialmente garantito per produrre risultati se possibile, mentre ARIMA e molti altri metodi usano algoritmi iterativi che spesso non riescono a raggiungere una soluzione. Ho visto spesso il metodo ARIMA" riattaccare "su dati che non hanno dato problemi al metodo di regressione".

La regressione ti dà una risposta, ma è la risposta giusta? Se costruisco modelli di regressione lineare e di apprendimento automatico e tutti giungono alla stessa conclusione, cosa significa?

Quindi, in sintesi, la regressione sì e le serie temporali possono entrambi rispondere alla stessa domanda e tecnicamente, le serie temporali sono tecnicamente regressione (sebbene auto-regressione). I modelli di serie storiche sono meno complessi e quindi più robusti dei modelli di regressione. Se pensi alla specializzazione, i modelli TS sono specializzati nella previsione, mentre la regressione è specializzata nella comprensione. Si riduce a se si desidera spiegare o prevedere.

Pensando che la differenza più profonda tra le funzioni di trasferimento e la regressione lineare multipe (nel suo uso abituale) risieda nei loro obiettivi, le regressioni multiple sono orientate a trovare le principali determinanti causali osservabili della variabile dipendente mentre le funzioni di trasferimento vogliono solo prevedere l'effetto su una dipendente variabile della variazione di una specifica variabile esogena ... In sintesi, la regressione multipla è orientata alla spiegazione esaustiva e alla funzione di trasferimento alla previsione di effetti molto specifici ...