Contesto e problema

Sto usando i processi gaussiani (GP) per la regressione e la successiva ottimizzazione bayesiana (BO). Per regressione uso il pacchetto gpml per MATLAB con diverse modifiche personalizzate, ma il problema è generale.

È risaputo che quando due input di training sono troppo vicini nello spazio di input, la matrice di covarianza può diventare definita non positiva (ci sono diverse domande su questo sito). Di conseguenza, la decomposizione di Cholesky della matrice di covarianza, necessaria per vari calcoli GP, potrebbe non riuscire a causa di un errore numerico. Questo mi è successo in diversi casi quando eseguivo BO con le funzioni oggettive che sto usando e mi piacerebbe risolverlo.

Soluzioni proposte

AFAIK, la soluzione standard per alleviare il mal condizionamento è aggiungere una cresta o pepita alla diagonale della matrice di covarianza. Per la regressione GP, ciò equivale ad aggiungere (o aumentare, se già presente) rumore di osservazione.

Fin qui tutto bene. Ho modificato il codice per l'inferenza esatta di gpml in modo che ogni volta che la decomposizione di Cholesky fallisca, provo a fissare la matrice di covarianza alla matrice definita simmetrica positiva positiva (SPD) nella norma Frobenius, ispirata da questo codice MATLAB di John d'Errico. La logica è minimizzare l'intervento sulla matrice originale.

Questa soluzione risolve il problema, ma ho notato che le prestazioni di BO si sono notevolmente ridotte per alcune funzioni, possibilmente ogni volta che l'algoritmo avrebbe bisogno di ingrandire in alcune aree (ad esempio, perché si sta avvicinando al minimo o perché le scale di lunghezza del problema diventa non uniformemente piccolo). Questo comportamento ha senso poiché sto effettivamente aumentando il rumore ogni volta che due punti di ingresso si avvicinano troppo, ma ovviamente non è l'ideale. In alternativa, potrei semplicemente rimuovere i punti problematici, ma ancora una volta, a volte ho bisogno che i punti di input siano vicini.

Domanda

Non penso che i problemi numerici con la fattorizzazione di Cholesky delle matrici di covarianza di GP siano un problema nuovo, ma con mia sorpresa non sono riuscito a trovare molte soluzioni finora, a parte aumentare il rumore o rimuovere punti troppo vicini tra loro. D'altra parte, è vero che alcune delle mie funzioni si comportano piuttosto male, quindi forse la mia situazione non è così tipica.

Qualche suggerimento / riferimento che potrebbe essere utile qui?

Un'altra opzione è essenzialmente fare una media dei punti che causano - ad esempio se si hanno 1000 punti e 50 problemi di causa, si potrebbe prendere l'approssimazione di basso rango ottimale usando i primi 950 autovalori / vettori. Tuttavia, questo non è molto lontano dalla rimozione ravvicinata dei punti dati che hai detto che preferiresti non fare. Tieni presente, tuttavia, che quando aggiungi jitter riduci i gradi di libertà - vale a dire che ogni punto influenza meno la tua previsione, quindi potrebbe essere peggio che usare meno punti.

Un'altra opzione (che personalmente ritengo ordinata) è quella di combinare i due punti in modo più intelligente. Ad esempio, potresti prendere 2 punti e combinarli in uno, ma anche usarli per determinare un'approssimazione anche per il gradiente. Per includere informazioni sul gradiente, tutto ciò di cui hai bisogno dal tuo kernel è trovare e . I derivati ​​di solito non hanno alcuna correlazione con la loro osservazione, quindi non si verificano problemi di condizionamento e si conservano le informazioni locali.$dxk(x,x')$$dxdx'k(x,x')$

Modificare:

Sulla base dei commenti pensavo che avrei elaborato ciò che intendevo includendo le osservazioni derivate. Se usiamo un kernel gaussiano (come esempio),

$k_{x,x'} = k(x, x') = \sigma\exp(-\frac{(x-x')^2}{l^2})$

i suoi derivati ​​sono,

$k_{dx,x'} =\frac{dk(x, x')}{dx} = - \frac{2(x-x')}{l^2} \sigma\exp(-\frac{(x-x')^2}{l^2})$

$k_{dx,dx'} =\frac{d^2k(x, x')}{dxdx'} = 2 \frac{l^2 - 2(x-x')}{l^4} \sigma\exp(-\frac{(x-x')^2}{l^2})$

Supponiamo ora di avere un punto di dati e una derivata in che chiamerò .$\{x_i, y_i ; i = 1,...,n \}$$x_1$$m_1$

Sia , quindi utilizziamo un singolo GP standard con matrice di covarianza come,$Y = [m_1, y_1, \dots, y_n]$

$K = \left( \begin{array}{cccc} k_{dx_0,dx_0} & k_{dx_0,x_0} & \dots & k_{dx_0,x_n} \\ k_{dx_0,x_0} & k_{x_0,x_0} & \dots & k_{x_0,x_n} \\ \vdots & \vdots & \ddots & \vdots \\ k_{dx_0,x_n} & k_{x_0,x_n} & \dots & k_{x_n,x_n} \end{array} \right)$

Il resto del GP è lo stesso del solito.

Una soluzione che abbiamo preso in giro in ufficio è semplicemente modificare i punti problematici. Questo può assumere la forma di una cancellazione diretta o qualcosa di più sofisticato. In sostanza, l'osservazione è che i punti vicini sono altamente ridondanti: in effetti, così ridondanti da ridurre il rango della matrice di covarianza. Allo stesso modo, un punto fornisce comunque poche informazioni al problema in questione, quindi rimuovere l'uno o l'altro (o fare qualcos'altro, come fare una media o "rimbalzare" un punto dall'altro a una distanza minima accettabile) non cambia davvero tanto la tua soluzione.

Non sono sicuro di come giudicare in quale momento i due punti diventano "troppo vicini". Forse questa potrebbe essere un'opzione di ottimizzazione lasciata all'utente.

(Oops! Dopo aver pubblicato questo, ho trovato qui la tua domanda che fa avanzare questa risposta a una soluzione molto più elaborata. Spero che collegandomi alla mia risposta, aiuterò con SEO ...)