La differenza tra regressione logistica e macchine vettoriali di supporto?

So che la regressione logistica trova un iperpiano che separa i campioni di addestramento. So anche che Support vector machines trova l'iperpiano con il margine massimo.

La mia domanda: allora la differenza tra regressione logistica (LR) e macchine vettoriali di supporto (SVM) è che LR trova un iperpiano che separa i campioni di addestramento mentre SVM trova l'iperpiano con il margine massimo? O mi sbaglio?

Nota: ricordare che in LR quando la funzione logistica dà . Se assumiamo come soglia di classificazione, allora è un iperpiano o un limite di decisione.$\theta \cdot x = 0$$0.5$$0.5$$\theta \cdot x = 0$

Hai ragione se stai parlando di SVM difficile e le due classi sono linearmente separabili. LR trova qualsiasi soluzione che separa le due classi. Hard SVM trova "la" soluzione tra tutte le possibili che ha il margine massimo.

Nel caso di SVM soft e le classi non separabili linearmente, hai ancora ragione con una leggera modifica. L'errore non può diventare zero. LR trova un iperpiano che corrisponde alla minimizzazione di alcuni errori. Soft SVM tenta di minimizzare l'errore (un altro errore) e allo stesso tempo scambia quell'errore con il margine tramite un parametro di regolarizzazione.

Una differenza tra i due: SVM è un classificatore difficile ma LR è probabilistico. SVM è scarso. Seleziona i vettori di supporto (dai campioni di addestramento) che hanno il potere più discriminatorio tra le due classi. Dal momento che non mantiene altri punti di allenamento oltre a quello al momento del test, non abbiamo idea della distribuzione di nessuna delle due classi.

Ho spiegato come la soluzione LR (usando IRLS) si rompe in caso di separabilità lineare delle due classi e perché smette di essere un classificatore probabilistico in tal caso: /stats//a/133292/66491