Mappa delle funzionalità per il kernel gaussiano

24

In SVM, il kernel gaussiano è definito come: dove . Non conosco l'equazione esplicita di . Voglio saperlo

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

Voglio anche sapere se

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ dove

c_{i} \in R

$c_i\in \mathbb R$ . Ora, penso che non sia uguale, perché l'uso di un kernel gestisce la situazione in cui il classier lineare non funziona. Conosco progetti

ϕ

$\phi$ x in uno spazio infinito. Quindi, se rimane ancora lineare, indipendentemente da quante dimensioni sia, svm non può ancora fare una buona classificazione.

machine-learning svm kernel-trick

— Vivian
fonte

perché questo kernel implica una trasformazione? O ti riferisci allo spazio delle funzioni associato?

— Placidia,

Sì, qual è lo spazio delle funzionalità

ϕ (\cdot)

$\phi(\cdot)$ modo che

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

È possibile ottenere l'equazione esplicita di $\phi$ per il kernel gaussiano tramite l'espansione della serie Tailor di $e^x$ . Per semplicità notazionale, supponiamo $x\in \mathbb{R}^1$ :

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

Questo è anche discusso in maggior dettaglio in queste diapositive da Chih-Jen Lin di NTU (slide 11 in particolare). Si noti che nelle diapositive è usato come parametro del kernel. $\gamma=\frac{1}{2\sigma^2}$

L'equazione nell'OP vale solo per il kernel lineare.

— Marc Claesen
fonte

2

Ciao, ma questa equazione sopra soddisfa solo una dimensione.

— Vivian,

Quindi, qui, lo spazio del kernel riproducente Hilbert è un sottospazio di , giusto?

ℓ^{2}

$\ell^2$

— The_Anomaly

Esiste anche una rappresentazione esplicita del kernel Laplaciano?

— Felix Crazzolara,

13

Per ogni kernel psd valido , esiste una mappa delle caratteristiche tale che . Lo spazio e l'incorporamento in effetti non devono necessariamente essere unici, ma esiste un'importante coppia unica nota come kernel riproducente Hilbert space (RKHS). $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

L'RKHS è discusso da: Steinwart, Hush and Scovel, Una descrizione esplicita del kernel riproduttivo Spazi di Hilbert dei kernel gaussiani RBF , Transazioni sull'IEEE sulla teoria dell'informazione 2006 ( doi , pdf gratuito di citeseer ).

È un po 'complicato, ma si riduce a questo: definire come $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

Sia una sequenza che vada su tutte le -tuple di numeri interi non negativi; se , forse , , e così via. Indica il th componente tupla di . $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

Quindi l' componente di è . Quindi mappa i vettori in con vettori complessi a dimensione infinita. $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

Il problema è che dobbiamo ulteriormente definire le norme per questi vettori complessi a dimensione infinita in modo speciale; vedere il documento per i dettagli.

Steinwart et al. anche dare un più semplice (al mio pensiero) incorporando in , lo spazio di Hilbert di funzioni quadrate integrabili da : Notare che è esso stesso una funzione di a . È fondamentalmente la densità di un gaussiano dimensionale con media e covarianza ; solo la costante normalizzante è diversa. Quindi quando prendiamo $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ stiamo prendendo il prodotto delle funzioni di densità gaussiana , che è esso stesso una certa costante volte che una densità gaussiana funzioni. Quando fai quell'integrale per , quindi, la costante che cade finisce per essere esattamente .

t

$t$

k (x, y)

$k(x, y)$

Questi non sono gli unici matrimoni che funzionano.

Un altro si basa sulla trasformazione di Fourier, che il celebre documento di Rahimi e Recht ( Random Features for Large Scale Kernel Machines , NIPS 2007) si avvicina con grande efficacia.

Puoi anche farlo usando la serie Taylor: in effetti la versione infinita di Cotter, Keshet e Srebro, Approssimazioni esplicite del kernel gaussiano , arXiv: 1109.4603 .

— Dougal
fonte

1

Douglas Zare ha fornito una versione 1d del "più semplice" incorporando un thread interessante qui .

— Dougal,

Qui trovi una spiegazione più 'intuitiva' che il può mappare su una valanga di dimensioni pari alla dimensione del campione di addestramento, anche per un campione di addestramento infinito: stats.stackexchange.com/questions/80398/…

Φ

$\Phi$

6

$\phi$ $K$ $\sigma$

— Dikran Marsupial
fonte

σ \to 0

$\sigma\rightarrow 0$