Qual è lo scopo dell'autocorrelazione?

Perché l' autocorrelazione è così importante? Ne ho capito il principio (immagino ..) ma dato che ci sono anche esempi in cui non si verifica alcuna autocorrelazione, mi chiedo: tutto in natura non è in qualche modo autocorrelato? L'ultimo aspetto è più mirato a una comprensione generale dell'autocorrelazione stessa perché, come ho già detto, non tutti gli stati dell'universo dipendono da quello precedente?

L'autocorrelazione ha diverse interpretazioni in linguaggio semplice che indicano che i processi e i modelli non autocorrelati non:

• Una variabile con correlazione automatica ha memoria dei suoi valori precedenti. Tali variabili hanno un comportamento che dipende da ciò che è accaduto prima. La memoria può essere lunga o breve rispetto al periodo di osservazione; la memoria può essere infinita; la memoria può essere negativa (cioè può oscillare). Se le tue teorie guida dicono che il passato (di una variabile) rimane con noi, allora l'autocorrelazione ne è un'espressione. (Vedi, ad esempio, Boef, SD (2001). Modellazione delle relazioni di equilibrio: modelli di correzione degli errori con dati fortemente autoregressivi . Analisi politica , 9 (1), 78–94, e anche de Boef, S., & Keele, L. ( 2008). Prendendo tempo Scherzi a parte . American Journal of Political Science , 52 (1), 184-200.)

• Una variabile autocorrelata implica un sistema dinamico . Le domande che poniamo e le risposte sul comportamento dei sistemi dinamici sono diverse da quelle che poniamo sui sistemi non dinamici. Ad esempio, quando gli effetti causali entrano in un sistema e per quanto tempo rimangono pertinenti gli effetti di una perturbazione in un dato momento, si risponde nella lingua dei modelli autocorrelati. (Vedi, ad esempio, Levins, R. (1998). Teoria della dialettica e dei sistemi . Scienza e società , 62 (3), 375–399, ma anche la citazione di Pesaran in basso.)

• Una variabile autocorrelata implica la necessità di modellare le serie temporali (se non anche la modellazione di sistemi dinamici). Le metodologie delle serie temporali sono basate su comportamenti autoregressivi (e media mobile, che è un presupposto modellistico sulla struttura degli errori dipendente dal tempo) che tenta di catturare dettagli salienti del processo di generazione dei dati e si contrappongono in modo marcato, ad esempio, a chiamati "modelli longitudinali" che incorporano semplicemente una certa misura del tempo come variabile in un modello altrimenti non dinamico senza autocorrelazione. Vedi, ad esempio, Pesaran, MH (2015) Serie storiche e Panel Data in Econometrics , New York, NY: Oxford University Press.

Avvertenza: sto usando "autoregressione" e "autoregressivo" per implicare qualsiasi struttura di memoria in una variabile in generale, indipendentemente dalle proprietà a breve termine, a lungo termine, unit-root, esplosive, ecc. Di quel processo.

Un tentativo di risposta.

L'autocorrelazione non è diversa da qualsiasi altra relazione tra predittori. È solo che il predittore e la variabile dipendente sono le stesse serie temporali, solo in ritardo.

non tutti gli stati dell'universo dipendono dal precedente?

Si Certamente. Proprio come lo stato di ogni oggetto nell'universo dipende da ogni altro oggetto, attraverso tutti i tipi di forze fisiche. La domanda è solo se la relazione è abbastanza forte da essere rilevabile, o abbastanza forte da aiutarci a prevedere gli stati.

E la stessa cosa vale per l'autocorrelazione. È sempre lì La domanda è se dobbiamo modellarla o se modellarla introduce solo un'ulteriore incertezza (il trade-off di bias-varianza), peggiorandoci piuttosto che non modellarla.

Un esempio dal mio lavoro personale: prevedo le vendite dei supermercati. Il consumo di latte della mia famiglia è abbastanza regolare. Se non compro latte da tre o quattro giorni, è molto probabile che oggi o domani entrerò per comprare il latte. Se il supermercato vuole prevedere la domanda di latte della mia famiglia , dovrebbe assolutamente tenere conto di questa autocorrelazione.

Tuttavia, non sono l'unico cliente nel mio supermercato. Ci sono forse altre 2.000 famiglie che acquistano la spesa lì. Il consumo di latte di ciascuno è di nuovo autocorrelato. Ma poiché il tasso di consumo di ognuno è diverso, l'autocorrelazione nell'aggregato è così attenuata che potrebbe non avere più senso modellarlo. È scomparso nella domanda quotidiana generale, cioè l'intercettazione. E poiché al supermercato non importa a chi vende il latte, modellerà la domanda aggregata e probabilmente non includerà l'autocorrelazione.

(Sì, c'è una stagionalità intra-settimanale. Che è una specie di autocorrelazione, ma dipende davvero dal giorno della settimana, non dalla domanda dello stesso giorno feriale di una settimana prima, quindi è più un effetto nei giorni feriali che l'autocorrelazione stagionale. )

In primo luogo, penso che intendi qual è lo scopo della valutazione dell'autocorrelazione e della sua gestione. Se intendi davvero lo "scopo dell'autocorrelazione", allora questa è filosofia, non statistica.

In secondo luogo, gli stati dell'universo sono correlati agli stati precedenti, ma non tutti i problemi statistici riguardano gli stati precedenti della natura. Molti studi sono trasversali.

Terzo, dobbiamo modellarlo quando è lì? I metodi fanno ipotesi. La maggior parte delle forme di regressione non presuppone alcuna auto-correlazione (ovvero, gli errori sono indipendenti). Se violiamo questa ipotesi, i nostri risultati potrebbero essere sbagliati. Quanto lontano sbagliato? Un modo per dirlo sarebbe fare la solita regressione e anche alcuni modelli che tengono conto dell'autocorrelazione (ad esempio modelli multilivello o metodi delle serie temporali) e vedere quanto sono diversi i risultati. Ma, in generale, penso che tenere conto della correlazione automatica ridurrà il rumore e renderà il modello più accurato.