Dubbi sulla derivazione delle equazioni della regressione del processo gaussiana in un documento

Sto leggendo questo articolo prestampato e ho difficoltà a seguire la loro derivazione delle equazioni per la regressione del processo gaussiana. Usano l'impostazione e la notazione di Rasmussen & Williams . Pertanto, si presuppone un additivo, a media zero, stazionario e normalmente distribuito con varianza :$\sigma^2_{noise}$

$$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$$

Un GP precedente con media zero è assunto per $f(\mathbf{x})$ , il che significa che $\forall \ d\in N$ , $\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$ è un vettore gaussiano con media 0 e matrice di covarianza

$$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$$

Da ora in poi, assumiamo che gli iperparametri siano noti. Quindi l'Eq. (4) del documento è ovvio:

$$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$$

Ecco i dubbi:

1. Equazione (5):

   $$p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$$

   E [ y | f ] = f ≠ 0 f y = c + ϵ c$E[\mathbf{f}]=0$ , ma suppongo perché quando condiziono su , quindi dove è un vettore costante e solo è casuale. Corretta?$E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$$\mathbf{f}$$\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$$\mathbf{c}$$\boldsymbol{\epsilon}$

2. Ad ogni modo, è l'Eq. (6) che è più oscuro per me:

   $$p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$$

   Questa non è la solita forma del teorema di Bayes. Il teorema di Bayes sarebbe

   $$p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$$

   In qualche modo capisco perché le due equazioni sono uguali: intuitivamente, il vettore di risposta dipende solo dal corrispondente vettore latente , condizionando quindi su o su dovrebbe portare alla stessa distribuzione. Tuttavia, questa è un'intuizione, non una prova! Potete aiutarmi a dimostrare il perchéf f ( f , f ∗$\mathbf{y}$$\mathbf{f}$$\mathbf{f}$$(\mathbf{f},\mathbf{f^*})$

   $$p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$$

1. Se risolviamo , allora tutta l'incertezza in viene dal rumore. Quindi per l'equazione (5) nell'articolo abbiamo dato che dato abbiamo ad ogni punto rumore indipendente con varianza e media zero . Aggiungiamo la media iniziale e otteniamo la risposta.y f σ 2 n o i s e$\mathbf{f}$$\mathbf{y}$$\mathbf{f}$$\sigma_{noise}^2$$0$
2. Un modo per dimostrare l'uguaglianza suggerita è trovare la distribuzione su il lato sinistro e il lato destro della qualità. Entrambi sono gaussiani, per il lato sinistro conosciamo già la risposta. Per il lato destro procediamo in modo simile. Troviamo la distribuzione condizionale per . Dal risultato della prima parte che conosciamo: Usando le regole di probabilità è facile integrare da( y , y ∗ ) p ( y , y ∗ | f , f ∗ ) = N ( ( f , f ∗ ) , σ 2 n o i s e I ) . y ∗ ( y , y $$p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$$ $(\mathbf{y}, \mathbf{y}^*)$ $$p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$$ $\mathbf{y}^*$y y ∗ p ( y | f , f ∗ ) = N ( f , σ 2 $(\mathbf{y}, \mathbf{y}^*)$, poiché la matrice di covarianza è diagonale e i vettori e sono indipendenti. In questo modo otteniamo: $\mathbf{y}$$\mathbf{y}^*$ $$p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$$