Perché il ridimensionamento è importante per la classificazione lineare SVM?

Quando si esegue la classificazione lineare SVM, è spesso utile normalizzare i dati di allenamento, ad esempio sottraendo la media e dividendo per la deviazione standard, e successivamente ridimensionare i dati del test con la deviazione media e standard dei dati di allenamento. Perché questo processo cambia drasticamente le prestazioni di classificazione?

machine-learning svm standardization

— Qinghua
fonte

Questa domanda è già stata data risposta stackoverflow.com/questions/15436367/svm-scaling-input-values

— jpmuc

Grazie juampa! Tuttavia, non sono ancora del tutto chiaro il motivo per cui il set di test deve essere ridimensionato con la media e lo std del set di allenamento anziché con il suo? In alcuni casi, il secondo sembra funzionare in modo egualmente buono o anche meglio quando le due classi di campioni sono ben bilanciate nel set di test.

— Qinghua,

perché allora non sei coerente. Stai testando dati diversi. Immagina di estrarre i campioni da una N gaussiana (mu, sigma). Ti sei allenato con N (0,1) (dopo aver centrato e ridimensionato) ma hai provato con N (mu, sigma)

— jpmuc

Correlati: stats.stackexchange.com/questions/77876/…

— Marc Claesen

Risposte:

Penso che possa essere reso più chiaro attraverso un esempio. Supponiamo che tu abbia due vettori di input: X1 e X2. e diciamo che X1 ha un intervallo (da 0,1 a 0,8) e X2 ha un intervallo (da 3000 a 50000). Ora il tuo classificatore SVM sarà un limite lineare che giace sul piano X1-X2. La mia tesi è che la pendenza del confine di decisione lineare non dovrebbe dipendere dall'intervallo di X1 e X2, ma piuttosto dalla distribuzione dei punti.

Ora facciamo una previsione sul punto (0.1, 4000) e (0.8, 4000). Non ci sarà quasi alcuna differenza nel valore della funzione, rendendo così SVM meno preciso poiché avrà una minore sensibilità ai punti nella direzione X1.

— Vineeth
fonte

SVM cerca di massimizzare la distanza tra il piano di separazione e i vettori di supporto. Se una caratteristica (cioè una dimensione in questo spazio) ha valori molto grandi, dominerà le altre caratteristiche nel calcolo della distanza. Se ridimensionate tutte le funzioni (ad es. Su [0, 1]), hanno tutte la stessa influenza sulla metrica della distanza.

— jrieke
fonte