Quando si utilizzano SVM, perché devo ridimensionare le funzionalità?

Secondo la documentazione dell'oggetto StandardScaler in scikit-learn:

Ad esempio, molti elementi utilizzati nella funzione obiettivo di un algoritmo di apprendimento (come il kernel RBF di Support Vector Machines o i regolarizzatori L1 e L2 dei modelli lineari) presuppongono che tutte le funzioni siano centrate attorno a 0 e abbiano una varianza nello stesso ordine. Se una funzione presenta una varianza di ordini di grandezza maggiori di altre, potrebbe dominare la funzione obiettivo e rendere lo stimatore incapace di apprendere correttamente da altre funzionalità come previsto.

Dovrei ridimensionare le mie caratteristiche prima della classificazione. C'è un modo semplice per mostrare perché dovrei farlo? I riferimenti ad articoli scientifici sarebbero ancora migliori. Ne ho già trovato uno, ma probabilmente ce ne sono molti altri.

— furfante
fonte

Risposte:

Tutti i metodi del kernel sono basati sulla distanza. La funzione del kernel RBF è (usando per semplicità). $\kappa(\mathbf{u},\mathbf{v}) = \exp(-\|\mathbf{u}-\mathbf{v}\|^2)$ $\gamma=1$

Dati 3 vettori di funzioni:

x_{1} = [1000, 1, 2], x_{2} = [900, 1, 2], x_{3} = [1050, - 10, 20] .

$\mathbf{x}_1 = [1000, 1, 2], \quad \mathbf{x}_2 = [900, 1, 2], \quad \mathbf{x}_3 = [1050, -10, 20].$

quindi , ovvero è presumibilmente più simile a a . $\kappa( \mathbf{x}_1, \mathbf{x}_2) = \exp(-10000) \ll \kappa(\mathbf{x}_1, \mathbf{x}_3) = \exp(-2905)$ $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_2$

Le differenze relative tra e: $\mathbf{x}_1$

x_{2} \to [0.1, 0, 0], x_{3} \to [0.05, - 10, 10] .

$\mathbf{x}_2 \rightarrow [0.1, 0, 0],\quad \mathbf{x}_3 \rightarrow [0.05, -10, 10].$

Quindi, senza ridimensionamento, concludiamo che è più simile a che a , anche se le differenze relative per funzione tra e sono molto più grandi di quelli di e . $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_2$ $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_1$ $\mathbf{x}_2$

In altre parole, se non si ridimensionano tutte le funzionalità su intervalli comparabili, le funzioni con l'intervallo più ampio domineranno completamente nel calcolo della matrice del kernel.

Puoi trovare semplici esempi per illustrarlo nel seguente documento: Una guida pratica per supportare la classificazione dei vettori (Sezione 2.2).

— Marc Claesen
fonte

potresti anche voler discutere di regolarizzazione: la scala dei pesi dipende dalla scala degli input ...

— seanv507,

L'effetto della regolarizzazione è che diversi ridimensionamenti implicano una ottimale diversa , che è in qualche modo ortogonale a questo particolare problema.

C

$C$

— Marc Claesen,

Ma potrebbe davvero essere che la prossimità lungo una dimensione sia più importante. Quindi l'obiettivo non è davvero quello di avere la stessa varianza in tutte le funzionalità, ma di ridimensionarle in modo tale che le distanze lungo ogni caratteristica abbiano circa la stessa importanza rispetto all'attività.

— Isarandi,

@Marc Claesen, se le tue variabili sono di diversi ordini di grandezza, anche i tuoi pesi saranno di diversi ordini di grandezza e la norma l2 si concentrerà sugli input che hanno una varianza piccola e pesi corrispondenti di grandi dimensioni. in altre parole, la regolarizzazione delle norme di peso assicura che gli input "piccoli" abbiano piccoli effetti. Questo ha senso solo se hai standardizzato "piccolo" (attraverso i tuoi input), ad esempio normalizzando le tue variabili

— seanv507,

@ seanv507 che si applica solo a SVM lineare.

— Marc Claesen,

Dipende dal kernel che stai usando. Di gran lunga il più comunemente usato (a parte lineare) è il kernel gaussiano, che ha la forma

f = e x p (\frac{- | | x_{1} - x_{2} | |^{2}}{2 σ^{2}})

$f = exp \left ( \frac{- || x{_{1}} - x{_{2}} || ^2 }{2\sigma ^2} \right )$

Un SVM utilizza questa funzione e la utilizza per confrontare la somiglianza di un punto ( ) con ogni altro punto dell'insieme di training sommando le differenze come: $x1$

(x_{1} - l_{1})^{2} + (x_{2} - l_{2})^{2} . . . + (x_{n} - l_{n})^{2}

$(x{_{1}}-l{_{1}})^2+(x{_{2}}-l{_{2}})^2...+(x{_{n}}-l{_{n}})^2$

dove è il tuo esempio e i valori di sono i punti di riferimento. $x$ $l$

Se la funzione varia da 0 a 50.000 mentre la funzione varia da 0 a 0,01, puoi vedere che dominerà quella somma mentre non avrà praticamente alcun impatto. Per questo motivo è necessario ridimensionare le funzionalità prima di applicare il kernal. $x{_{1}}$ $x{_{2}}$ $x{_{1}}$ $x{_{2}}$

Se vuoi saperne di più, ti consiglio il modulo 12 (Support Vector Machines) del corso online di Stanford sull'apprendimento automatico a Coursera (gratuito e disponibile in qualsiasi momento): https://www.coursera.org/course/ml

— ralph346526
fonte