Quali statistiche vengono conservate in aggregazione?

12

Se disponiamo di una serie temporale lunga e ad alta risoluzione, con un sacco di rumore, spesso ha senso aggregare i dati a una risoluzione inferiore (ad esempio valori giornalieri o mensili) per comprendere meglio cosa sta succedendo, rimuovendo efficacemente alcuni dei il rumore.

Ho visto almeno un articolo che applica quindi alcune statistiche ai dati aggregati, incluso un per una regressione lineare su una variabile separata. È valido? Avrei pensato che il processo di media avrebbe modificato un po 'il risultato, a causa del rumore ridotto. $r^2$

In generale, alcune statistiche possono essere applicate ai dati aggregati delle serie temporali e altre no? Se sì, quali? Quelle che sono combinazioni lineari, forse?

time-series aggregation

— naught101
fonte

Correlato, vedi l' errore ecologico .

— Andy W,

1

per quanto riguarda il commento di @cbeleites, penso che ci sia una risposta teorica qui - un'espansione del tuo suggerimento di preservare le combinazioni lineari. Tuttavia, in termini di applicazione pratica, è molto difficile trarre una conclusione generale sulla validità di un approccio e dovrebbe esserci un esempio specifico.

— Jonathan,

6

Penso che la domanda come nel titolo sia troppo ampia per essere risolta in modo utile, tanto più che probabilmente dipenderà sia dal metodo di aggregazione che dalla statistica in questione.

Questo si applica anche alla "media": cerchi di preservare la forma e l'intensità del segnale (es. Filtri Savitzky-Golay) o cerchi di preservare l'area sotto il segnale (es. Loess)?
Le statistiche relative al rumore sono ovviamente interessate: questo è generalmente lo scopo dell'aggregazione.

Ho visto almeno un documento che applica quindi alcune statistiche ai dati aggregati [...] È valido? Avrei pensato che il processo di media avrebbe modificato un po 'il risultato, a causa del rumore ridotto.

Questa modifica è probabilmente lo scopo dell'aggregazione.

In generale, sei autorizzato a fare molte cose con i tuoi dati, ma devi farlo

di 'quello che stai facendo (e preferibilmente anche il motivo per cui lo fai)
mostra la qualità del modello risultante (test con dati indipendenti)

$n$

— cbeleites insoddisfatto di SX
fonte

5

$Y_t$ $X_\tau$ $m$

Y_{t} = α + β {\bar{X}}_{t} + u_{t}, (1)

$Y_t=\alpha+\beta \bar X_t +u_t, (1)$

{\bar{X}}_{t} = \frac{1}{m} \sum_{h = 0}^{m - 1} X_{t m - h} .

$\bar X_t=\frac{1}{m}\sum_{h=0}^{m-1}X_{tm-h}.$

$t$ $X_{30(t-1)+1},...,X_{30t}$

Y_{t} = α + β {\bar{X}}_{t}^{(w)} + u_{t}, (2)

$Y_t=\alpha+\beta \bar X_{t}^{(w)} +u_t,(2)$

con

X_{t}^{(w)} = \sum_{h = 1}^{m - 1} w_{h} X_{t m - h} .

$X_t^{(w)}=\sum_{h=1}^{m-1}w_hX_{tm-h}.$

$w_h$ $w_h=g(h,\alpha)$ $g$ $\alpha$

$w_h=\frac{1}{m}$

In un'impostazione di non regressione ci sono risultati che mostrano che l'aggregazione può cambiare le proprietà delle serie temporali. Ad esempio, se si aggregano processi AR (1) con memoria a breve termine (la correlazione tra due osservazioni delle serie temporali si interrompe rapidamente quando si aumenta la distanza tra loro), è possibile ottenere un processo con memoria a lungo termine.

Quindi per riassumere la risposta è che la validità dell'applicazione delle statistiche sui dati aggregati è una domanda statistica. A seconda del modello è possibile costruire un'ipotesi che si tratti di un'applicazione valida o meno.

— mpiktas
fonte