Vantaggi dei processi gaussiani

13

Ho questa confusione legata ai benefici dei processi gaussiani. Intendo paragonarlo alla semplice regressione lineare, dove abbiamo definito che la funzione lineare modella i dati.

Tuttavia, nei processi gaussiani definiamo la distribuzione delle funzioni significa che non definiamo specificamente che la funzione dovrebbe essere lineare. Possiamo definire un priore sulla funzione che è il priore gaussiano che definisce caratteristiche come quanto deve essere liscia la funzione e tutto il resto.

Quindi non dobbiamo definire esplicitamente quale dovrebbe essere il modello. Tuttavia, ho delle domande. Abbiamo una probabilità marginale e usandola possiamo mettere a punto i parametri della funzione di covarianza del priore gaussiano. Quindi questo è simile alla definizione del tipo di funzione che dovrebbe essere non è vero.

Si riduce alla stessa cosa definendo i parametri anche se in GP sono iperparametri. Ad esempio in questo documento . Hanno definito che la funzione media del GP è qualcosa di simile

m (X) = un' X^{2} + B X + c cioè un polinomio di secondo ordine.

$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$

Quindi sicuramente il modello / funzione è definito non è vero. Quindi qual è la differenza nel definire la funzione come lineare come in LR.

Semplicemente non ho avuto il vantaggio di usare GP

gaussian-process

— user34790
fonte

7

$D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

L = - \frac{1}{2} (\log | K | + y^{T} K^{- 1} y),

$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

k (x_{i}, x_{j})

$k(\mathbf{x}_i, \mathbf{x}_j)$

x

$\mathbf{x}$

\hat{y} (X) = K K^{- 1} y,

$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$

k = {k (x, x_{i})}_{i = 1}^{N}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$

$k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

\hat{y} (X) = X^{T} X^{T} (X X^{T})^{- 1} y = X^{T} (X^{T} X)^{- 1} X^{T} y .

$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$

(X X^{T})^{- 1}

$(X X^T)^{-1}$

$\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$ $A$

inserisci qui la descrizione dell'immagine .

Quindi, il vantaggio è che possiamo modellare le funzioni non lineari usando una funzione di covarianza adeguata (possiamo selezionarne una all'avanguardia, nella maggior parte dei casi la funzione di covarianza esponenziale quadrata è una scelta piuttosto buona). La fonte della non linearità non è la componente di tendenza menzionata, ma la funzione di covarianza.

— Alexey Zaytsev
fonte

3

Direi che questo è solo uno dei vantaggi di GP con è anche condiviso con altri metodi del kernel. Essere probabilistici e provenienti dal framework bayesiano è un altro vantaggio del GP.

— Seeda,

2

$x$ $f$ $f(x)$

$max$ $f$ $x$ $f$ $\mu$ $\Sigma$ (incertezza), consentendo ad esempio l'ottimizzazione delle costose funzioni della scatola nera.

— Tomasz Bartkowiak
fonte