Utilizzo dei filtri Kalman per imputare i valori mancanti nelle serie storiche

12

Sono interessato a come i filtri Kalman possono essere utilizzati per imputare i valori mancanti nei dati delle serie temporali. È applicabile anche se mancano alcuni punti temporali consecutivi? Non riesco a trovare molto su questo argomento. Eventuali spiegazioni, commenti e collegamenti sono benvenuti e apprezzati!

data-imputation kalman-filter

— GS9
fonte

Potresti essere interessato a questo post . Fornisce un esempio basato sulla rappresentazione dello spazio degli stati di un modello ARIMA per imputare i valori mancanti mediante il filtro Kalman.

— Javavalle

@javlacalle grazie, conoscevo già questo post ed è un ottimo esempio per un'implementazione concreta. Ma sono piuttosto interessato allo sfondo teorico.

— GS9

9

Preliminari: filtro Kalman :

I filtri di Kalman operano su modelli dello spazio degli stati del modulo (ci sono diversi modi per scriverlo; questo è facile basato su Durbin e Koopman (2012) ; tutto quanto segue è basato su quel libro, che è eccellente):

\begin{aligned} y_{t} & = Z α_{t} + ε_{t} & ε_{t} ~ N (0, H) \\ α_{t_{1}} & = T α_{t} + η_{t} & η_{t} ~ N (0, Q) \\ α_{1} & ~ N ({un'}_{1}, P_{1}) \end{aligned}

$\begin{align} y_t & = Z \alpha_t + \varepsilon_t \qquad & \varepsilon_t \sim N(0, H) \\ \alpha_{t_1} & = T \alpha_t + \eta_t & \eta_t \sim N(0, Q) \\ \alpha_1 & \sim N(a_1, P_1) \end{align}$

dove è la serie osservata (possibilmente con valori mancanti) ma è completamente inosservata. La prima equazione (l'equazione di "misurazione") dice che i dati osservati sono correlati agli stati non osservati in un modo particolare. La seconda equazione (l'equazione "transizione") afferma che gli stati non osservati si evolvono nel tempo in un modo particolare. $y_t$ $\alpha_t$

Il filtro Kalman opera per trovare le stime ottimali di ( è considerato normale: , quindi ciò che fa effettivamente il filtro Kalman è calcolare la media condizionale e la varianza della distribuzione per subordinato alle osservazioni fino al tempo ). $\alpha_t$ $\alpha_t$ $\alpha_t \sim N(a_t, P_t)$ $\alpha_t$ $t$

Nel caso tipico (quando sono disponibili osservazioni) il filtro Kalman utilizza la stima dello stato corrente e l'osservazione corrente per fare il possibile per stimare lo stato successivo , come segue: $y_t$ $\alpha_{t+1}$

\begin{aligned} {un'}_{t + 1} & = T {un'}_{t} + K_{t} (y_{t} - Z α_{t}) \\ P_{t + 1} & = T P_{t} (T - K_{t} Z)^{'} + Q \end{aligned}

$\begin{align} a_{t+1} & = T a_t + K_t (y_t - Z \alpha_t) \\ P_{t+1} & = T P_t (T - K_t Z)' + Q \end{align}$

dove è il "guadagno di Kalman". $K_t$

Quando non c'è un'osservazione, il filtro Kalman vuole ancora calcolare e nel miglior modo possibile. Poiché non è disponibile, non può utilizzare l'equazione di misura, ma può comunque utilizzare l'equazione di transizione . Pertanto, quando manca , il filtro Kalman calcola invece: $a_{t+1}$ $P_{t+1}$ $y_t$ $y_t$

\begin{aligned} {un'}_{t + 1} & = T {un'}_{t} \\ P_{t + 1} & = T P_{t} T^{'} + Q \end{aligned}

$\begin{align} a_{t+1} & = T a_t \\ P_{t+1} & = T P_t T' + Q \end{align}$

In sostanza, dice che dato , la mia ipotesi migliore su senza dati è solo l'evoluzione specificata nell'equazione di transizione. Questo può essere eseguito per qualsiasi numero di periodi di tempo con dati mancanti. $\alpha_t$ $\alpha_{t+1}$

Se non v'è dati , quindi la prima serie di equazioni che filtrano prendere l'ipotesi migliore, senza i dati, e aggiungere una "correzione" in, in base a come buona la stima precedente era. $y_t$

Dati di imputazione :

Una volta che il filtro di Kalman è stato applicato a tutta la gamma di tempo, si dispone di stime ottimali degli stati per . L'immissione dei dati è quindi semplice tramite l'equazione di misurazione. In particolare, devi solo calcolare: $a_t, P_t$ $t = 1, 2, \dots, T$

{\hat{y}}_{t} = Z {un'}_{t}

$\hat y_t = Z a_t$

Per quanto riguarda un riferimento, Durbin e Koopman (2012) sono eccellenti; la sezione 4.10 discute le osservazioni mancanti.

Durbin, J., & Koopman, SJ (2012). Analisi delle serie temporali mediante metodi dello spazio degli stati (n. 38). La stampa dell'università di Oxford.

— cfulton
fonte

L'uso della soluzione più fluida avrebbe più senso per imputare (dal momento che uno ha già tutti i dati (non mancanti), perché non usare anche le informazioni nei valori futuri)

— Juho Kokkala

0

L'esempio nel post a cui javlacalle punta nel loro commento mostra punti temporali mancanti consecutivi. Potresti anche essere interessato a intervalli intorno ai valori imputati (previsti nel campione), il cui calcolo appare in questo documento dello Spazio degli Stati , nella sezione 2.1.

Un altro documento che potrebbe essere interessante è questo .

— Wayne
fonte