Processo gaussiano: proprietà di approssimazione delle funzioni

Sto imparando il processo gaussiano e ho sentito solo frammenti. Gradirei davvero commenti e risposte.

Per qualsiasi set di dati, è vero che un'approssimazione della funzione di processo gaussiana darebbe zero o trascurabile errore di adattamento nei punti dati? In un altro posto ho anche sentito che il processo gaussiano è particolarmente buono per i dati rumorosi. Ciò sembra essere in conflitto con l'errore di adattamento basso per i dati osservati?

Inoltre, più lontano dai punti dati sembra esserci più incertezza (maggiore covarianza). In tal caso, si comporta come modelli locali (RBF ecc.)?

Infine, esiste una proprietà di approssimazione universale?

Supponiamo che il campione di dati sia . Supponiamo anche che abbiamo una funzione di covarianza k ( x 1 , x 2 ) e una media zero specificata per un processo gussiano. La distribuzione per un nuovo punto x sarà gaussiana con media m ( x ) = k K - 1$D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$$k(\mathbf{x}_1, \mathbf{x}_2)$$\mathbf{x}$

$$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$$ $$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$$ $\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$ $$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$$ $K + \sigma I$$K$ $$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$$

Scelta della varianza del rumore $\sigma$possiamo selezionare se vogliamo interpolazione ($\sigma = 0$) o vogliamo gestire osservazioni rumorose ($\sigma$ è grande).

Inoltre, la regressione dei processi gaussiani è un metodo locale perché la varianza delle previsioni cresce con la distanza dal campione di apprendimento, ma possiamo selezionare la funzione di covarianza appropriata $k$e gestire problemi più complessi, rispetto a RBF. Un'altra bella proprietà è un piccolo numero di parametri. Di solito è uguale$O(n)$, dove $n$ è la dimensione dei dati.