Sto leggendo SVMe ho affrontato al punto che i non kernel SVMsnon sono altro che separatori lineari. Pertanto, l'unica differenza tra una SVMe regressione logistica è il criterio per scegliere il confine?
Apparentemente, SVMsceglie il massimo classificatore di margini e la regressione logistica è quella che minimizza la cross-entropyperdita. Ci sono situazioni in cui si SVM comporta meglio della regressione logistica o viceversa?
Risposte:
Se si utilizza la regressione logistica e la cross-entropyfunzione di costo, la sua forma è convessa e ci sarà un unico minimo. Durante l'ottimizzazione, tuttavia, è possibile trovare pesi vicini al punto ottimale e non esattamente sul punto ottimale. Ciò significa che puoi avere più classificazioni che riducono l'errore e magari impostarlo a zero per i dati di allenamento ma con pesi diversi leggermente diversi. Ciò può portare a limiti di decisione diversi. Questo approccio si basa su metodi statistici . Come illustrato nella seguente forma, è possibile avere limiti di decisione diversi con lievi variazioni nei pesi e tutti hanno errori zero negli esempi di allenamento.
Quello che SVMfa è un tentativo di trovare un limite di decisione che riduca il rischio di errore sui dati del test. Cerca di trovare un limite di decisione che abbia la stessa distanza dai punti di confine di entrambe le classi. Di conseguenza, entrambe le classi avranno lo stesso spazio per lo spazio vuoto che non contiene dati. SVMè motivato geometricamente piuttosto che statisticamente .
Nessuno SVM kernelizzato non è altro che separatori lineari. Pertanto, l'unica differenza tra una SVM e la regressione logistica è il criterio per scegliere il confine?
Sono separatori lineari e se scopri che il tuo limite di decisione può essere un iperpiano, è meglio usarlo SVMper ridurre il rischio di errore sui dati di test.
Apparentemente SVM sceglie il massimo classificatore di margine e regressione logistica quello che minimizza la perdita di entropia.
Sì, come affermato SVMsi basa sulle proprietà geometriche dei dati mentre logistic regressionsi basa su approcci statistici.
In questo caso, ci sono situazioni in cui SVM avrebbe prestazioni migliori della regressione logistica o viceversa?
Apparentemente, i loro risultati non sono molto diversi, ma lo sono. SVMsono migliori per la generalizzazione 1 , 2 .
La regressione logistica non sta cercando di trovare un limite di classe in sé come fanno gli SVM lineari. LR tenta di modellare i punteggi y trasformati in logit usando i predittori. Per usare un'analogia sciocca, LR cerca di mettere la funzione "attraverso i punti" mentre gli SVM tentano di mettere i vettori di supporto "tra i punti"