Le matrici del kernel RBF tendono ad essere mal condizionate?

Uso la funzione kernel RBF per implementare un algoritmo di machine learning (KLPP) basato sul kernel, la risultante matrice del kernel $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$ risulta estremamente mal condizionato. Il numero di condizione della norma L2 è di

10^{17} - 10^{64}

$10^{17}-10^{64}$

C'è un modo per renderlo ben condizionato? Immagino che il parametro $\sigma$ debba essere sintonizzato, ma non so esattamente come.

Grazie!

— ZeyuHu
fonte

bene, se si

σ_{m}

$\sigma_m$ si migliora il numero della condizione.

— user189035

Risposte:

Ridurre la larghezza del kernel solito riduce il numero della condizione. $\sigma_m$

Tuttavia, le matrici del kernel possono diventare singolari o vicine al singolare per qualsiasi funzione di base o distribuzione dei punti, a condizione che le funzioni di base si sovrappongano. La ragione di ciò è in realtà abbastanza semplice:

La matrice del kernel è singolare quando il suo determinante è zero. $K$ $\det(K)$
Lo scambio di due punti e nell'interpolazione equivale allo scambio di due file in , supponendo che i punti di prova rimangano costanti. $x_i$ $x_j$ $K$
Scambiare due righe in una matrice cambia il segno del suo determinante.

Ora immagina di selezionare due punti e e lentamente in modo che cambino posizione. Mentre lo fa, il determinante di cambierà segno, diventando zero a un certo punto nel mezzo. A questo punto, è, per definizione, singolare. $x_i$ $x_j$ $K$ $K$

— Pedro
fonte

Le matrici K non sono simmetriche - scambiando due punti si scambiano righe e colonne?

— denis,

@Denis Questo è il caso solo se i tuoi nodi e punti di prova sono gli stessi e muovi entrambi. Questo è il motivo per cui, nel secondo punto, ho scritto "supponendo che i tuoi punti di prova rimangano costanti".

— Pedro,

la matrice del kernel dei gaussiani (la domanda del PO) è comunque semi-definita positiva?

— denis,

@Denis: Ancora una volta, questa è una domanda su come definire il problema di interpolazione RBF. Si consideri il caso più generale in cui si dispone di RBFs centrato sui punti , , e si vuole minimizzare l'interpolazione nei punti , . L'esempio del poster presuppone e . Se inizialmente impostiamo e , e poi spostiamo semplicemente

, possiamo semplicemente generare

singolare .

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

— Pedro,

Un paio di suggerimenti:

Scegli la distanza media | casuale - il più vicino . (A approssimazione a buon mercato per punti distribuiti uniformemente nel cubo unità in , è di 0,5 / ). Vogliamo che ad essere grandi per vicino , piccolo per il rumore di fondo; traccialo per qualche casuale . $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
Spostare da 0, , o giù di lì; cioè regolarizzare. $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
Guarda i pesi da risolvere . Se alcuni sono ancora enormi (indipendentemente dal numero di condizione), ciò tenderebbe a confermare Boyd (sotto) che l'RBF gaussiano è fondamentalmente debole. $(K + \lambda I) w = f$

(Un'alternativa a RBF è la ponderazione a distanza inversa, IDW. Ha il vantaggio del ridimensionamento automatico, lo stesso per le distanze più vicine 1 2 3 come per 100 200 300 Inoltre trovo la scelta esplicita dell'utente di , il numero di vicini vicini da considerare, più chiaro della ricerca della griglia su .) $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

John P. Boyd, L'inutilità della Trasformazione di Gauss veloce per sommare la serie di funzioni di base radiale gaussiana , afferma

l'interpolante gaussiano RBF è mal condizionato per la maggior parte delle serie, nel senso che l'interpolante è la piccola differenza di termini con coefficienti esponenzialmente grandi.

Spero che sia di aiuto; per favore condividi la tua esperienza.

— Denis
fonte