Regressione incrementale del processo gaussiano

Voglio implementare una regressione gaussiana incrementale usando una finestra scorrevole sui punti dati che arrivano uno ad uno attraverso un flusso.

Permettere $d$denota la dimensionalità dello spazio di input. Quindi, ogni punto dati$x_i$ ha $d$ numero di elementi.

Permettere $n$ essere la dimensione della finestra scorrevole.

Per fare previsioni, devo calcolare l'inverso della matrice di grammi $K$, dove $K_{ij} = k(x_i, x_j)$ e k è il kernel esponenziale quadrato.

Al fine di evitare che K diventi più grande con ogni nuovo punto dati, ho pensato di poter rimuovere il punto dati più vecchio prima di aggiungere nuovi punti e in questo modo ho impedito la crescita del grammo. Ad esempio, lascia$K = \phi(X)^{T}\Sigma\phi(X)$dove è la covarianza dei pesi e è la funzione di mappatura implicita implicita dal kernel esponenziale quadrato.$\Sigma$$\phi$

Ora lascia ] e dove s' sono da matrici delle colonne.$X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$$X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$$x$$d$$1$

Ho bisogno di un modo efficace per trovare il potenzialmente utilizzando . Questo non sembra il contrario di un problema di matrice aggiornato di grado 1 che può essere efficacemente trattato con la formula di Sherman-Morrison.$K_{new}^{-1}$$K$

Ci sono stati diversi algoritmi ricorsivi per farlo. Dovresti dare un'occhiata all'algoritmo dei minimi quadrati ricorsivi del kernel (KRLS) e ai relativi algoritmi GP online.

• Van Vaerenbergh, S., Santamaria, I., Liu, W. e Principe, JC (2010). Minimi quadrati ricorsivi del kernel a budget fisso . In Acoustics Speech and Signal Processing (ICASSP), Conferenza internazionale IEEE 2010, pagine 1882-1885. IEEE.
• Lazaro-Gredilla, M., Van Vaerenbergh, S. e Santamaria, I. (2011). Un approccio bayesiano al tracciamento con minimi quadrati ricorsivi del kernel . In Machine Learning for Signal Processing (MLSP), 2011 IEEE International Workshop on, page 1-6. IEEE.
• Perez-Cruz, F., Van Vaerenbergh, S., Murillo-Fuentes, JJ, Lazaro-Gredilla, M. e Santamaria, I. (2013). Processi gaussiani per l'elaborazione del segnale non lineare: una panoramica dei recenti progressi . Rivista IEEE Signal Processing, 30 (4): 40-50.

La stima graduale dei modelli GP è ben studiata in letteratura. L'idea di base è invece di condizionare tutte le nuove osservazioni che si desidera prevedere, condizionare sul punto di un passo avanti e farlo ripetutamente. Questo diventa in qualche modo vicino al filtro di Kalman.