Problema del giocattolo di regressione del processo gaussiano

Stavo cercando di ottenere alcune intuizioni per la regressione del processo gaussiano, quindi ho provato un semplice problema con il giocattolo 1D. Ho preso come input e come risposte. ('Ispirato' da ) $x_i=\{1,2,3\}$ $y_i=\{1,4,9\}$ $y=x^2$

Per la regressione ho usato una funzione esponenziale quadrata standard del kernel:

k (x_{p}, x_{q}) = σ_{f}^{2} \exp (- \frac{1}{2 l^{2}} {| x_{p} - x_{q} |}^{2})

$k(x_p,x_q)=\sigma_f^2 \exp \left( - \frac{1}{2l^2} \left|x_p-x_q\right|^2 \right)$

Ho assunto che ci fosse un rumore con deviazione standard , in modo che la matrice di covarianza diventasse: $\sigma_n$

K_{p q} = k (x_{p}, x_{q}) + σ_{n}^{2} δ_{p q}

$K_{pq} = k(x_p,x_q) + \sigma_n^2 \delta_{pq}$

Gli iperparametri sono stati stimati massimizzando la verosimiglianza dei dati. Per fare una previsione in un punto , ho trovato rispettivamente la media e la varianza nel modo seguente $(\sigma_n,l,\sigma_f)$ $x_\star$

μ_{x_{⋆}} = k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} y

$\mu_{x_\star} = k_\star^T (\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} y$

σ_{x_{⋆}}^{2} = k (x_{⋆}, x_{⋆}) - k_{⋆}^{T} (K + σ_{n}^{2} I)^{- 1} k_{⋆}

$\sigma_{x_\star}^2 = k(x_\star,x_\star)-k_\star^T(\mathbf{K}+\sigma_n^2\mathbf{I})^{-1} k_\star$

dove è il vettore della covarianza tra e gli input e è un vettore degli output. $k_\star$ $x_\star$ $y$

I miei risultati per sono mostrati di seguito. La linea blu è la media e le linee rosse indicano gli intervalli di deviazione standard. $1<x<3$

I risultati

Non sono sicuro se questo sia giusto però; i miei input (contrassegnati dalle "X") non si trovano sulla linea blu. La maggior parte degli esempi che vedo hanno la media che interseca gli input. È prevedibile questa caratteristica generale?

regression gaussian-process

— Comp_Warrior
fonte

Se dovessi indovinare, negli esempi che stavi guardando non c'erano errori residui. In tal caso la linea passerebbe attraverso tutti i punti.

— ragazzo

@Guy esattamente.

Risposte:

La funzione media che passa attraverso i punti dati è di solito un'indicazione di sovra-adattamento. L'ottimizzazione degli iperparametri massimizzando la probabilità marginale tenderà a favorire modelli molto semplici a meno che non vi siano dati sufficienti per giustificare qualcosa di più complesso. Dato che hai solo tre punti dati, che sono più o meno in linea con poco rumore, il modello che è stato trovato mi sembra abbastanza ragionevole. In sostanza, i dati possono essere spiegati come una funzione sottostante lineare con rumore moderato o una funzione sottostante moderatamente non lineare con poco rumore. La prima è la più semplice delle due ipotesi ed è favorita dal "rasoio di Occam".

— Dikran Marsupial
fonte

Grazie per l'input. Puoi dirmi di più sul "montaggio eccessivo"; è una caratteristica positiva / negativa?

— Comp_Warrior il

l'eccessivo adattamento è una cosa negativa, in pratica significa che il modello sta memorizzando la variazione casuale dei dati, il che tende a peggiorare le prestazioni di generalizzazione. Idealmente, si desidera che il modello apprenda la forma sottostante dei dati ignorando il rumore che lo contamina. La maggior parte dei buoni libri di testo per l'apprendimento automatico tratterà questo in un capitolo iniziale.

— Dikran Marsupial,

solo per interesse, perché il downvote?

— Dikran Marsupial,

Non ti ho votato in negativo; in effetti ho votato!

— Comp_Warrior il

nessun problema Comp_Warrior, non pensavo fossi tu, ma qualcuno ha declassato la mia risposta e sarei felice di avere un feedback sul perché. Siamo tutti fallibili e se ho qualcosa di sbagliato nella mia risposta, sono ansioso di correggerlo.

— Dikran Marsupial,

Stai usando gli stimatori di Kriging con l'aggiunta di un termine di rumore (noto come effetto pepita nella letteratura di processo gaussiana). Se il termine del rumore è stato impostato su zero, ovvero

σ_{n}^{2} δ_{p q} = 0

$\sigma^2_n \delta_{pq}=0$

quindi le tue previsioni fungerebbero da interpolazione e passerebbero attraverso i punti dati di esempio.

Questo mi sembra a posto, nel libro GP di Rasmussen mostra sicuramente esempi in cui la funzione media non passa attraverso ciascun punto dati. Si noti che la linea di regressione è una stima per la funzione sottostante e stiamo assumendo che le osservazioni siano i valori della funzione sottostante più un po 'di rumore. Se la linea di regressione si basa su tutti e tre i punti, in sostanza si direbbe che non vi è alcun rumore nei valori osservati.

$\sigma_n = 0$

$l$

$l$ $l$

Come osservato da Dikran Marsupial, questa è una caratteristica integrata dei processi gaussiani, la probabilità marginale penalizza modelli troppo specifici e preferisce quelli che possono spiegare molti set di dati.

— Max S.
fonte