Comprensione della regressione del processo gaussiana tramite la vista della funzione base infinita dimensionale

Si dice spesso che la regressione del processo gaussiano corrisponda (GPR) alla regressione lineare bayesiana con una quantità (forse) infinita di funzioni di base. Attualmente sto cercando di capire questo in dettaglio per ottenere un'intuizione per quale tipo di modelli posso esprimere usando GPR.

Pensi che questo sia un buon approccio per cercare di capire il GPR?

Nel libro Gaussian Processes for Machine learning Rasmussen e Williams mostrano che l'insieme dei processi gaussiani descritti dal kernel esponenziale parametrizzato quadrato può essere equivalentemente descritto come regressione bayesiana con precedente convinzionesui pesi e una quantità infinita di funzioni base della forma

K (X, X^{'}; l) = σ_{p}^{2} \exp (- \frac{(X - X)^{2}}{2 l^{2}})

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

Pertanto, la parametrizzazione del kernel potrebbe tradursi completamente in una parametrizzazione delle funzioni di base.

φ_{c} (X; l) = \exp (- \frac{(X - c)^{2}}{2 l^{2}})

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

La parametrizzazione di un kernel differenziabile può sempre essere tradotta in parametrizzazione delle funzioni precedenti e di base o esistono kernel differenziabili in cui, ad esempio, il numero delle funzioni di base dipende dalla configurazione?

$k(x,x')$

K (X, X^{'}) = Σ_{io = 1}^{\infty} λ_{io} φ_{io} (X) φ_{io} (X^{'})

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$

La mia prossima domanda riguarda l'inverso del teorema di mercer.

Quali set di funzioni di base portano a kernel validi?

E l'estensione

Quali set di funzioni di base parametrizzate portano a kernel differenziabili validi?

gaussian-process kernel-trick basis-function

— Julian Karls
fonte

Ecco alcune osservazioni. Forse qualcun altro può compilare i dettagli.

1) Le rappresentazioni di base sono sempre una buona idea. È difficile evitarli se vuoi davvero fare qualcosa di computazionale con la tua funzione di covarianza. L'espansione di base può darti un'approssimazione del kernel e qualcosa su cui lavorare. La speranza è che tu possa trovare una base che abbia senso per il problema che stai cercando di risolvere.

$\theta$ $\theta$

Tipicamente, il numero di funzioni di base sarà (numerabile) infinito, quindi il numero non varierà con il parametro, a meno che alcuni valori non causino la degenerazione del kernel.

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

$\lambda_i$ $\lambda_i$ $x$

Se le funzioni di base non sono ortogonali, sarà più difficile dimostrare che una covarianza definita da esse è definita positiva. Ovviamente, in quel caso non hai a che fare con un'espansione autigena, ma con un altro modo di approssimare la funzione di interesse.

Tuttavia, non penso che le persone in genere inizino da un mucchio di funzioni e quindi provino a creare un kernel di covarianza da esse.

RE: Differenzialità del kernel e differenziabilità delle funzioni di base. In realtà non conosco la risposta a questa domanda, ma vorrei offrire la seguente osservazione.

L'analisi funzionale procede approssimando le funzioni (da uno spazio dimensionale infinito) con somme finite di funzioni più semplici. Per far funzionare tutto, tutto dipende dal tipo di convergenza coinvolta. In genere, se si lavora su un set compatto con forti proprietà di convergenza (convergenza uniforme o sommabilità assoluta) sulle funzioni di interesse, si ottiene il tipo di risultato intuitivo che si sta cercando: le proprietà delle funzioni semplici passano a la funzione limite - ad es. se il kernel è una funzione differenziabile di un parametro, le funzioni di espansione devono essere funzioni differenziabili dello stesso parametro e viceversa. Con proprietà di convergenza più deboli o domini non compatti, ciò non accade. Nella mia esperienza, c'è un contro-esempio per ogni idea "ragionevole" che viene in mente.

Nota: per prevenire possibili confusioni da parte dei lettori di questa domanda, si noti che l'espansione gaussiana del punto 1 non è un esempio dell'espansione autigena del punto 2.

— Placidia
fonte