Il processo gaussiano (regressione) ha la proprietà di approssimazione universale?

Qualche funzione continua su [a, b], dove aeb sono numeri reali, può essere approssimata o arbitrariamente vicina alla funzione (in qualche norma) dai processi gaussiani (regressione)?

gaussian-process approximation

— Michael D
fonte

Sii più preciso!

— Henry.L,

sì! Bene, in realtà, dipende dalla funzione di covarianza, ma per alcuni di loro lo fanno . Dustin Tran et al. ha anche dimostrato un teorema di approssimazione universale nel quadro bayesiano per il Processo gaussiano variazionale , che è un modello più complesso a causa delle funzioni di deformazione, ma è strettamente correlato. Scriverò una risposta se la domanda viene riaperta. PS nota che l'approssimazione universale, come per le reti neurali, vale solo per un set compatto, non per tutto

R^{p}

$\mathbb{R}^p$

— DeltaIV

L'affermazione di "approssimazione universale" in questa domanda sembra avere poco o nulla a che fare con l'affermazione nell'articolo di Wikipedia di riferimento. In effetti, non è nemmeno chiaro come si possa approssimare una funzione con un processo . Potresti approfondire ciò che stai cercando di chiedere?

— whuber

f

$f$

f

$f$

f

$f$

f

$f$

x = x

$x=x$

Come osserva @Dougal, ci sono due modi diversi in cui la tua domanda può essere interpretata. Sono strettamente correlati, anche se potrebbe non sembrare così.

$X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ $\epsilon$ $k$ $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

$f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

$K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$

$f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ $f$

— DeltaIV
fonte