Cosa rende il kernel gaussiano così magico per PCA e anche in generale?

Stavo leggendo del kernel PCA ( 1 , 2 , 3 ) con kernel gaussiani e polinomiali.

• In che modo il kernel gaussiano separa apparentemente eccezionalmente bene qualsiasi tipo di dati non lineari? Si prega di fornire un'analisi intuitiva, oltre a una matematicamente coinvolta, se possibile.

• Qual è una proprietà del kernel gaussiano (con ideal ) che altri kernel non hanno? Vengono in mente reti neurali, SVM e reti RBF.$\sigma$

• Perché non mettiamo la norma attraverso, diciamo, un PDF di Cauchy e ci aspettiamo gli stessi risultati?

Penso che la chiave della magia sia la fluidità. La mia lunga risposta che segue è semplicemente quella di spiegare questa fluidità. Potrebbe essere o meno una risposta che ti aspetti.

Risposta breve:

Dato un kernel definito positivo , esiste il suo corrispondente spazio di funzioni . Le proprietà delle funzioni sono determinate dal kernel. Si scopre che se è un kernel gaussiano, le funzioni in sono molto fluide. Quindi, una funzione appresa (ad es. Una funzione di regressione, componenti principali in RKHS come nel kernel PCA) è molto fluida. Di solito il presupposto della fluidità è ragionevole per la maggior parte dei set di dati che vogliamo affrontare. Questo spiega perché un kernel gaussiano è magico.H k $k$$\mathcal{H}$$k$$\mathcal{H}$

Risposta lunga per cui un kernel gaussiano offre funzioni fluide:

Un kernel definito positivo definisce (implicitamente) un prodotto interno per il vettore funzione costruito dall'input , e è uno spazio di Hilbert. La notazione indica un prodotto interno tra e . Per il nostro scopo, puoi immaginare come il solito spazio euclideo ma possibilmente con un numero infinito di dimensioni. Immagina il solito vettore infinitamente lungo comek ( x , y ) = ⟨ φ ( x ) , φ ( y ) ⟩ H φ ( x ) x H ⟨ φ ( x ) , φ ( y ) ⟩ φ ( x ) φ ( y ) H ϕ ( x ) = ( ϕ 1 ( $k(x,y)$$k(x,y)=\left\langle \phi(x),\phi(y)\right\rangle _{\mathcal{H}}$$\phi(x)$$x$$\mathcal{H}$$\left\langle \phi(x),\phi(y)\right\rangle$$\phi(x)$$\phi(y)$$\mathcal{H}$ H f ( x ) = ⟨ f , φ ( x ) ⟩ f ( x ) f x φ ( x ) f ( x ) $\phi(x)=\left(\phi_{1}(x),\phi_{2}(x),\ldots\right)$. Nei metodi del kernel, è uno spazio di funzioni chiamato riproduzione dello spazio di Hilbert del kernel (RKHS). Questo spazio ha una proprietà speciale chiamata `` proprietà riproducente '' che è quella . Questo dice che per valutare , prima costruisci un vettore di funzione (infinitamente lungo come menzionato) per . Quindi costruisci il tuo vettore di caratteristiche per indicato da (infinitamente lungo). La valutazione di è data prendendo un prodotto interno dei due. Ovviamente, in pratica, nessuno costruirà un vettore infinitamente lungo. Dato che ci preoccupiamo solo del suo prodotto interno, valutiamo direttamente direttamente il kernel$\mathcal{H}$$f(x)=\left\langle f,\phi(x)\right\rangle$$f(x)$$f$$x$$\phi(x)$$f(x)$$k$. Bypassare il calcolo di funzioni esplicite e calcolare direttamente il suo prodotto interno è noto come "trucco del kernel".

Quali sono le caratteristiche?

Continuavo a dire caratteristiche senza specificare quali fossero. Dato un kernel , le funzionalità non sono uniche. Ma è determinato in modo univoco. Per spiegare la fluidità delle funzioni, consideriamo le funzionalità di Fourier. Supponiamo un kernel invariante di traduzione , che significa , cioè il kernel dipende solo dalla differenza dei due argomenti. Il kernel gaussiano ha questa proprietà. Lascia che denoti la trasformata di Fourier di .k ⟨ φ ( x ) , φ ( y ) ⟩ k k ( x , y ) = k ( x - y ) k$\phi_{1}(x),\phi_{2}(x),\ldots$$k$$\left\langle \phi(x),\phi(y)\right\rangle$$k$$k(x,y)=k(x-y)$$\hat{k}$$k$

In questo punto di vista di Fourier, le caratteristiche di sono date da . Questo sta dicendo che la rappresentazione della caratteristica della tua funzione è data dalla sua trasformata di Fourier divisa per la trasformata di Fourer del kernel . La rappresentazione della funzione di , che è è dove . Si può dimostrare che la proprietà riproduttiva è valida (un esercizio per i lettori).f : = ( ⋯ , f l / $f$fkxφ(x)(⋯,$f:=\left(\cdots,\hat{f}_{l}/\sqrt{\hat{k}_{l}},\cdots\right)$$f$$k$$x$$\phi(x)$i=$\left(\cdots,\sqrt{\hat{k}_{l}}\exp\left(-ilx\right),\cdots\right)$$i=\sqrt{-1}$

Come in ogni spazio di Hilbert, tutti gli elementi appartenenti allo spazio devono avere una norma finita. Consideriamo la norma quadrata di un :$f\in\mathcal{H}$

$\|f\|_{\mathcal{H}}^{2}=\left\langle f,f\right\rangle _{\mathcal{H}}=\sum_{l=-\infty}^{\infty}\frac{\hat{f}_{l}^{2}}{\hat{k}_{l}}.$

Quindi quando questa norma è finita, cioè appartiene allo spazio? È quando scende più velocemente di modo che la somma converga. Ora, la trasformata di Fourier di un kernel gaussiano$f$$\hat{f}_{l}^{2}$$\hat{k}_{l}$ $k(x,y)=\exp\left(-\frac{\|x-y\|^{2}}{\sigma^{2}}\right)$

è un altro gaussiano in cui diminuisce esponenzialmente velocemente con . Quindi, se deve trovarsi in questo spazio, la sua trasformata di Fourier deve scendere anche più velocemente di quella di . Ciò significa che la funzione avrà effettivamente solo alcuni componenti a bassa frequenza con pesi elevati. Un segnale con solo componenti a bassa frequenza non si `` muove '' molto. Questo spiega perché un kernel gaussiano ti dà una funzione regolare.$\hat{k}_{l}$$l$$f$$k$

Extra: che dire di un kernel Laplace?

Se consideri un kernel di Laplace , la sua trasformata di Fourier è una distribuzione di Cauchy che scende molto più lentamente dell'esponenziale funzione nella trasformata di Fourier di un kernel gaussiano. Ciò significa che una funzione avrà più componenti ad alta frequenza. Di conseguenza, la funzione fornita da un kernel Laplace è `` più ruvida '' di quella fornita da un kernel gaussiano.$k(x,y)=\exp\left(-\frac{\|x-y\|}{\sigma}\right)$$f$

Qual è una proprietà del kernel gaussiano che altri kernel non hanno?

Indipendentemente dalla larghezza gaussiana, una proprietà è che il kernel gaussiano è `` universale ''. Intuitivamente, questo significa, data una limitata continuo funzione (arbitraria), esiste una funzione tale che e sono vicini (nel senso di fino alla precisione arbitraria necessaria. Fondamentalmente, questo significa che il kernel gaussiano fornisce funzioni che possono approssimare arbitrariamente bene le funzioni "belle" (limitate, continue). I kernel gaussiani e di Laplace sono universali. Un kernel polinomiale, ad esempio, non lo è.$g$$f\in\mathcal{H}$$f$$g$$\|\cdot\|_{\infty})$

Perché non mettiamo la norma attraverso, diciamo, un PDF di Cauchy e ci aspettiamo gli stessi risultati?

In generale, puoi fare tutto ciò che ti piace purché il risultante sia definito positivo. La definizione positiva è definita come per tutti , e tutti (set di numeri naturali) . Se non è definito positivo, allora non corrisponde a uno spazio interno del prodotto. Tutta l'analisi si interrompe perché non hai nemmeno uno spazio di funzioni come menzionato. Tuttavia, potrebbe funzionare empiricamente. Ad esempio, il kernel tangente iperbolico (vedere il numero 7 in questa pagina )$k$$\sum_{i=1}^{N}\sum_{j=1}^{N}k(x_{i},x_{j})\alpha_{i}\alpha_{j}>0$$\alpha_{i}\in\mathbb{R}$$\{x_{i}\}_{i=1}^{N}$$N\in\mathbb{N}$$k$$\mathcal{H}$

$k(x,y) = tanh(\alpha x^\top y + c)$

che ha lo scopo di imitare le unità di attivazione sigmoidea nelle reti neurali, è solo definito positivo per alcune impostazioni di e . Tuttavia è stato riferito che funziona in pratica.$\alpha$$c$

Che dire di altri tipi di funzionalità?

Ho detto che le funzionalità non sono uniche. Per il kernel gaussiano, un altro set di funzionalità è dato dall'espansione di Mercer . Vedere la sezione 4.3.1 del famoso quaderno gaussiano . In questo caso, le caratteristiche sono polinomi di Hermite valutati in .$\phi(x)$$x$

Farò del mio meglio per rispondere a questa domanda non perché sono un esperto dell'argomento (piuttosto il contrario), ma perché sono curioso del campo e dell'argomento, combinato con l'idea che potrebbe essere una buona esperienza educativa . Comunque, ecco il risultato della mia breve ricerca amatoriale sull'argomento.

TL; DR : Considererei il seguente passaggio del documento di ricerca "La connessione tra operatori di regolarizzazione e kernel di supporto" come la risposta breve a questa domanda:

I kernel gaussiani tendono a fornire buone prestazioni in base a presupposti di scorrevolezza generali e dovrebbero essere considerati soprattutto se non è disponibile alcuna conoscenza aggiuntiva dei dati.

Ora, una risposta dettagliata (al meglio della mia comprensione; per i dettagli matematici, si prega di utilizzare i riferimenti).

Come sappiamo, l' analisi dei componenti principali (PCA) è un approccio molto popolare alla riduzione della dimensionalità , da solo e per la successiva classificazione dei dati: http://www.visiondummy.com/2014/05/feature-extraction-using-pca . Tuttavia, in situazioni in cui i dati portano dipendenze non lineari (in altre parole, inseparabili linearmente ), l'APC tradizionale non è applicabile (non funziona bene). In questi casi, è possibile utilizzare altri approcci e il PCA non lineare è uno di questi.

Approcci, in cui PCA si basa sull'uso della funzione kernel, di solito viene indicato, usando un termine ombrello "kernel PCA" ( kPCA ). L'uso del kernel con funzione di base radiale (RBF) gaussiana è probabilmente la variante più popolare. Questo approccio è descritto in dettaglio in più fonti, ma mi piace molto una spiegazione eccellente di Sebastian Raschka in questo post sul blog . Tuttavia, pur menzionando la possibilità di utilizzare le funzioni del kernel, oltre all'RBF gaussiano, il post si concentra su quest'ultimo grazie alla sua popolarità. Questo bel post sul blog , che introduce approssimazioni del kernel e trucco del kernel , menziona un'altra ragione possibile per la popolarità del kernel gaussiano per PCA: la dimensionalità infinita.

Ulteriori approfondimenti sono disponibili in diverse risposte su Quora. In particolare, la lettura di questa eccellente discussione rivela diversi punti su potenziali motivi della popolarità del kernel gaussiano, come segue.

• I kernel gaussiani sono universali :

I kernel gaussiani sono kernel universali, ovvero il loro uso con un'adeguata regolarizzazione garantisce un predittore globale ottimale che minimizza gli errori di stima e approssimazione di un classificatore.

• I kernel gaussiani sono circolari (il che porta alla summenzionata dimensionalità infinita?)
• I chicchi gaussiani possono rappresentare "terreni molto diversi"
• Il seguente punto, a sostegno della conclusione principale di cui sopra, è meglio espresso citando l'autore:

Il kernel gaussiano RBF è molto popolare e crea un buon kernel predefinito soprattutto in assenza di conoscenze specialistiche su dati e dominio perché in qualche modo prende anche il kernel polinomiale e lineare. I kernel lineari e i kernel polinomiali sono un caso speciale del kernel gaussiano RBF. I kernel gaussiani RBF sono modelli non parametrici, il che significa essenzialmente che la complessità del modello è potenzialmente infinita perché il numero di funzioni analitiche è infinito.

• I kernel gaussiani sono ottimali (sulla scorrevolezza , leggi di più qui - stesso autore):

Un kernel gaussiano è solo un filtro passa banda; seleziona la soluzione più fluida. [...] Un kernel gaussiano funziona meglio quando la somma infinita di derivati ​​di alto ordine converge più velocemente - e questo accade per le soluzioni più fluide.

Infine, ulteriori punti da questa bella risposta :

• I kernel gaussiani supportano modelli infinitamente complessi
• I kernel gaussiani sono più flessibili

APPUNTI:

Il punto di cui sopra sul fatto che il kernel gaussiano sia una scelta ottimale , specialmente quando non esiste alcuna conoscenza preliminare dei dati, è supportato dalla seguente frase di questa risposta CV :

In assenza di conoscenze specialistiche, il kernel della funzione di base radiale crea un buon kernel predefinito (una volta stabilito che si tratta di un problema che richiede un modello non lineare).

Per coloro che sono curiosi delle differenze non essenziali tra il kernel gaussiano RBF e il kernel gaussiano standard, questa risposta potrebbe essere interessante: https://stats.stackexchange.com/a/79193/31372 .

Per coloro che sono interessati a implementare kPCA per piacere o per affari, questo bel post sul blog potrebbe essere utile. È scritto da uno degli autori (creatori?) Di Accord.NET , un framework open source .NET molto interessante per analisi statistiche, apprendimento automatico, elaborazione dei segnali e molto altro.

Lasciami inserire i miei due centesimi.

Il modo in cui penso ai kernel gaussiani è come classificatore dei vicini più vicini in un certo senso. Quello che fa un kernel gaussiano è che rappresenta ogni punto con la distanza da tutti gli altri punti nel set di dati. Ora pensa ai classificatori con confini lineari o polinomiali, i limiti sono limitati a determinate forme. Tuttavia, quando guardi il vicino più vicino, il confine può praticamente prendere qualsiasi forma. Questo è il motivo per cui pensiamo al kernel gaussiano anche come non parametrico, ovvero adattare il confine in base ai dati. Un altro modo di pensare è il kernel gaussiano che si adatta alla forma locale in una regione, simile a come un vicino più vicino regola il confine localmente osservando la distanza da altri punti della regione locale.

Non ho un argomento matematico per questo, ma penso che il fatto che il kernel gaussiano sia effettivamente mappato su uno spazio di dimensioni infinite ha qualcosa a che fare con il suo successo. Per i kernel lineari e polinomiali, i prodotti punto sono presi in spazi di dimensioni finite; quindi sembra più potente fare le cose in uno spazio più ampio. Spero che qualcuno abbia una migliore comprensione di queste cose. Ciò significa anche che se possiamo trovare altri kernel con spazi dimensionali infiniti, dovrebbero anche essere abbastanza potenti. Sfortunatamente, non conosco nessuno di questi kernel.

Per il tuo ultimo punto, penso che Cauchy pdf o qualsiasi altro pdf che in qualche modo misura la distanza da altri punti dovrebbe funzionare altrettanto bene. Ancora una volta, non ho una buona argomentazione matematica per questo, ma la connessione con il vicino più vicino rende questo plausibile.

Modificare:

Ecco alcune idee su come pensare a un classificatore che utilizza i kernel gaussiani come classificatori più vicini. Innanzitutto, pensiamo a cosa fa un classificatore del vicino più vicino. In sostanza, un classificatore adiacente più vicino è un classificatore standard che utilizza le distanze tra i punti come input. Più formalmente, immagina di creare una rappresentazione di caratteristiche per ciascun punto nel set di dati calcolando la sua distanza da tutti gli altri punti. Sopra, è una funzione di distanza. Quindi, ciò che fa un classificatore adiacente più vicino è predire l'etichetta di classe per un punto in base a questa rappresentazione di caratteristiche ed etichette di classe per i dati. dove$\phi_i$$x_i$

Il modo in cui penso ai kernel è che fanno una cosa simile; creano una rappresentazione caratteristica di ciascun punto usando i suoi valori del kernel con altri punti nel set di dati. Simile al caso del vicino più vicino, più formalmente sarebbe Ora la connessione con il vicino più vicino è abbastanza ovvia; se la nostra funzione del kernel è una misura correlata alle misure della distanza che utilizziamo nei classificatori vicini più vicini, il nostro classificatore basato sul kernel sarà simile al modello vicino più vicino.

Nota: i classificatori che formiamo usando i kernel non funzionano direttamente con queste rappresentazioni , ma penso che sia quello che fanno implicitamente.$\phi_i$

Il motivo è che la dimensione VC per i kernel gaussiani è infinita e, quindi, dati i valori corretti per i parametri (sigma), possono classificare correttamente un numero arbitrariamente grande di campioni.

Gli RBF funzionano bene perché assicurano che la matrice sia al massimo. L'idea è che e i termini off-diagonali possano essere arbitrariamente ridotti diminuendo il valore di . Si noti che il kernel corrisponde a un prodotto punto nello spazio delle funzionalità. In questo spazio delle caratteristiche, la dimensione è infinita (considerando l'espansione in serie dell'esponenziale). Si potrebbe quindi vedere questo come proiettare quei punti in diverse dimensioni in modo da poterli separare.$K(x_{i},x_{j})$$K(x_{i},x_{i}) > 0$$\sigma$

Consideriamo invece il caso dei kernel lineari, che possono frantumare solo quattro punti sul piano.

Puoi dare un'occhiata a questo documento , anche se è molto tecnico. Uno dei libri standard sulle SVM dovrebbe rendere questo concetto più accessibile.