Molti classificatori di machine learning (ad es. Supportano macchine vettoriali) consentono di specificare un kernel. Quale sarebbe un modo intuitivo per spiegare cos'è un kernel?

Un aspetto a cui ho pensato è la distinzione tra kernel lineari e non lineari. In termini semplici, potrei parlare di "funzioni di decisione lineari" e di "funzioni di decisione non lineari". Tuttavia, non sono sicuro che chiamare una kernel "funzione decisionale" sia una buona idea.

Suggerimenti?

Kernel è un modo per calcolare il prodotto scalare di due vettori ed y in qualche (dimensionale possibilmente molto alto) spazio delle caratteristiche, motivo per cui le funzioni del kernel vengono talvolta chiamati "prodotto scalare generalizzato".$\mathbf x$$\mathbf y$

Supponiamo di avere una mappatura che porta i nostri vettori in R n in qualche spazio di funzioni R m . Poi il prodotto scalare di x ed y in questo spazio èφ($\varphi \, : \, \mathbb R^n \to \mathbb R^m$$\mathbb R^n$$\mathbb R^m$$\mathbf x$$\mathbf y$ . Un kernel è una funzione k che corrisponde a questo prodotto punto, cioè k ( x , y ) = φ ( x ) T φ ( y ) .$\varphi(\mathbf x)^T \varphi(\mathbf y)$$k$$k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

Perché è utile? I kernel offrono un modo per calcolare i prodotti punto in alcuni spazi delle funzionalità senza nemmeno sapere cosa sia questo spazio e cosa sia .$\varphi$

Ad esempio, considera un semplice kernel polinomiale con x , y ∈ R 2 . Questo non sembra corrispondere a nessuna funzione di mappatura φ , è solo una funzione che restituisce un numero reale. Supponendo che x = ( x 1 , x 2 ) e y = ( y 1 , y 2 ) , espandiamo questa espressione:$k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2$$\mathbf x, \mathbf y \in \mathbb R^2$$\varphi$$\mathbf x = (x_1, x_2)$$\mathbf y = (y_1, y_2)$

$\begin{align} k(\mathbf x, \mathbf y) & = (1 + \mathbf x^T \mathbf y)^2 = (1 + x_1 \, y_1 + x_2 \, y_2)^2 = \\ & = 1 + x_1^2 y_1^2 + x_2^2 y_2^2 + 2 x_1 y_1 + 2 x_2 y_2 + 2 x_1 x_2 y_1 y_2 \end{align}$

Si noti che questo non è altro che un prodotto punto tra due vettori $(1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$ e eφ(x)=φ(x1,x2)=$(1, y_1^2, y_2^2, \sqrt{2} y_1, \sqrt{2} y_2, \sqrt{2} y_1 y_2)$. Quindi il kernelk(x,y)=(1$\varphi(\mathbf x) = \varphi(x_1, x_2) = (1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$calcola un prodotto punto nello spazio 6-dimensionale senza visitare esplicitamente questo spazio.$k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2 = \varphi(\mathbf x)^T \varphi(\mathbf y)$

Un altro esempio è il kernel gaussiano . Se Taylor espandiamo questa funzione, vedremo che corrisponde a un codice infinito dimensionale di φ .$k(\mathbf x, \mathbf y) = \exp\big(- \gamma \, \|\mathbf x - \mathbf y\|^2 \big)$$\varphi$

Infine, consiglierei un corso online "Imparare dai dati" del professor Yaser Abu-Mostafa come buona introduzione ai metodi basati sul kernel. In particolare, le lezioni "Support Vector Machines" , "Kernel Methods" e "Radial Basis Functions" riguardano i kernel.

Un modo molto semplice e intuitivo di pensare ai kernel (almeno per gli SVM) è una funzione di somiglianza. Dati due oggetti, il kernel produce un punteggio di somiglianza. Gli oggetti possono essere qualsiasi cosa a partire da due numeri interi, due vettori con valori reali, alberi qualunque sia purché la funzione del kernel sappia come confrontarli.

L'esempio probabilmente più semplice è il kernel lineare, chiamato anche punto-prodotto. Dati due vettori, la somiglianza è la lunghezza della proiezione di un vettore su un altro.

Un altro esempio interessante del kernel è il kernel gaussiano. Dati due vettori, la somiglianza diminuirà con il raggio di . La distanza tra due oggetti viene "ridimensionata" da questo parametro di raggio.$\sigma$

Il successo dell'apprendimento con i kernel (di nuovo, almeno per gli SVM), dipende fortemente dalla scelta del kernel. Puoi vedere un kernel come una rappresentazione compatta della conoscenza del tuo problema di classificazione. Molto spesso è specifico del problema.

Non definirei un kernel una funzione di decisione poiché il kernel è utilizzato all'interno della funzione di decisione. Dato un punto dati da classificare, la funzione decisionale utilizza il kernel confrontando quel punto dati con un numero di vettori di supporto ponderati dai parametri appresi . I vettori di supporto si trovano nel dominio di quel punto dati e lungo i parametri appresi$\alpha$ si trovano dall'algoritmo di apprendimento.$\alpha$

Un esempio visivo per aiutare l'intuizione

Considera il seguente set di dati in cui i punti giallo e blu non sono chiaramente separabili linearmente in due dimensioni.

Se potessimo trovare uno spazio dimensionale più elevato in cui si trovavano questi punti separabili linearmente , allora potremmo fare quanto segue:

• Mappare le funzioni originali nello spazio superiore del trasformatore (mappatura delle caratteristiche)
• Eseguire SVM lineare in questo spazio più elevato
• Ottenere una serie di pesi corrispondenti all'iperpiano del limite decisionale
• Mappare questo iperpiano nello spazio 2D originale per ottenere un limite di decisione non lineare

Esistono molti spazi di dimensione superiore in cui questi punti sono separabili linearmente. Ecco un esempio

$$x_1, x_2 : \rightarrow z_1, z_2, z_3$$ $$z_1 = \sqrt{2}x_1x_2 \ \ z_2 = x_1^2 \ \ z_3 = x_2^2$$

È qui che entra in gioco il trucco del Kernel. Citando le grandi risposte sopra

Supponiamo di avere una mappatura $\varphi \, : \, \mathbb R^n \to \mathbb R^m$$\mathbb R^n$$\mathbb R^m$$\mathbf x$$\mathbf y$$\varphi(\mathbf x)^T \varphi(\mathbf y)$$k$$k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

Se potessimo trovare una funzione del kernel equivalente alla precedente mappa delle caratteristiche, allora potremmo collegare la funzione del kernel in SVM lineare ed eseguire i calcoli in modo molto efficiente.

Kernel Polinomiale

$K(\mathbf{x},\mathbf{x'}) = (\mathbf{x}^T\mathbf{x'})^d$$d = 2$$\mathbf{x} = (x_1, x_2)^T$

$$\begin{aligned} k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) & = (x_1x_2' + x_2x_2')^2 \\ & = 2x_1x_1'x_2x_2' + (x_1x_1')^2 + (x_2x_2')^2 \\ & = (\sqrt{2}x_1x_2 \ x_1^2 \ x_2^2) \ \begin{pmatrix} \sqrt{2}x_1'x_2' \\ x_1'^2 \\ x_2'^2 \end{pmatrix} \end{aligned}$$

$$k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) = \phi(\mathbf{x})^T \phi(\mathbf{x'})$$

$$\phi(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}) =\begin{pmatrix} \sqrt{2}x_1x_2 \\ x_1^2 \\ x_2^2 \end{pmatrix}$$

Visualizzazione della mappa delle caratteristiche e della linea di confine risultante

• Il diagramma sul lato sinistro mostra i punti tracciati nello spazio trasformato insieme all'iper piano del limite lineare SVM
• La trama sul lato destro mostra il risultato nello spazio 2-D originale

---

fonte

• Post completo e codice Python qui
• https://disi.unitn.it/~passerini/teaching/2014-2015/MachineLearning/slides/17_kernel_machines/handouts.pdf

Molto semplicemente (ma accuratamente) un kernel è un fattore di ponderazione tra due sequenze di dati. Questo fattore di ponderazione può assegnare più peso a un " punto dati " in un " punto temporale " rispetto all'altro " punto dati ", oppure assegnare un peso uguale o assegnare più peso all'altro " punto dati " " e così via.

In questo modo la correlazione ( punto prodotto ) può assegnare più "importanza" in alcuni punti rispetto ad altri e quindi far fronte a non linearità (ad esempio spazi non piatti ), informazioni aggiuntive, smoothing dei dati e così via.

In un altro modo un kernel è un modo per cambiare le dimensioni relative (o unità di dimensione ) di due sequenze di dati per far fronte alle cose sopra menzionate.

In un terzo modo (correlato ai due precedenti), un kernal è un modo per mappare o proiettare una sequenza di dati sull'altra in un modo 1 a 1 tenendo conto delle informazioni o dei criteri dati (ad es. Spazio curvo, dati mancanti, dati riordino e così via). Quindi per esempio un dato kernel può allungare o restringere o ritagliare o piegare una sequenza di dati per adattarsi o mappare 1-a-1 sull'altra.

Un kernel può agire come un Procrustes per " adattarsi al meglio "