Come capire l'effetto di RBF SVM

Come posso capire cosa fa il kernel RBF in SVM? Voglio dire, capisco la matematica, ma c'è un modo per avere un'idea di quando questo kernel sarà utile?

I risultati di kNN sarebbero correlati a SVM / RBF poiché l'RBF contiene distanze vettoriali?

C'è un modo per avere un'idea del kernel polinomiale? So che più è alta la dimensione, più è piccola. Ma mi piacerebbe avere un'intuizione su cosa fanno i kernel piuttosto che provare tutti i kernel possibili e scegliere il maggior successo.

svm kernel-trick

— Gerenuk
fonte

Puoi iniziare guardando una delle mie risposte qui:
Classificazione SVM non lineare con kernel RBF

In quella risposta, provo a spiegare cosa sta tentando di fare una funzione del kernel. Una volta capito cosa tenta di fare, come follow-up, puoi leggere la mia risposta a una domanda su Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- radiale-base-funzione-kernel-map-in-infinito-dimensionale-spazio / risposta / Arun-Iyer-1

Riproduzione del contenuto della risposta su Quora, nel caso in cui non si disponga di un account Quora.

Domanda: Perché il kernel RBF (funzione base radiale) esegue la mappatura nello spazio dimensionale infinito? Risposta: Considera il kernel polinomiale di grado 2 definito da, dove e
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ . $x = (x_1, x_2), y = (y_1, y_2)$
Pertanto, la funzione del kernel può essere scritta come, Ora, proviamo a trovare una mappa delle caratteristiche tale che la funzione del kernel possa essere scritta come
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Considera la seguente mappa delle caratteristiche, Fondamentalmente, questa mappa caratteristica sta mappando i punti inai punti in . Inoltre, nota che che è essenzialmente la nostra funzione del kernel.
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
Ciò significa che la nostra funzione del kernel sta effettivamente calcolando il prodotto interno / punto dei punti in . Cioè, sta implicitamente mappando i nostri punti da a . $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

Domanda di esercizio : Se i tuoi punti sono in , un kernel polinomiale di grado 2 lo mapperà implicitamente su uno spazio vettoriale F. Qual è la dimensione di questo spazio vettoriale F? Suggerimento: tutto ciò che ho fatto sopra è un indizio. $\mathbb{R}^n$

Ora, venendo a RBF.

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Domanda di esercizio : ottenere i primi pochi elementi vettoriali della mappa delle caratteristiche per RBF per il caso precedente?

Ora, dalla risposta sopra, possiamo concludere qualcosa:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
fonte