Qual è la differenza tra Support Vector Machines e Linear Discriminant Analysis?

LDA: Presuppone: i dati sono normalmente distribuiti. Tutti i gruppi sono distribuiti in modo identico, nel caso in cui i gruppi abbiano matrici di covarianza diverse, LDA diventa Analisi Discriminante Quadratica. LDA è il miglior discriminatore disponibile nel caso in cui tutte le ipotesi siano effettivamente soddisfatte. A proposito, QDA è un classificatore non lineare.

SVM: generalizza l'hyperplane con separazione ottimale (OSH). La SSL presuppone che tutti i gruppi siano totalmente separabili, SVM si avvale di una "variabile allentata" che consente una certa sovrapposizione tra i gruppi. SVM non fa assolutamente ipotesi sui dati, il che significa che è un metodo molto flessibile. La flessibilità d'altra parte rende spesso più difficile interpretare i risultati di un classificatore SVM, rispetto a LDA.

La classificazione SVM è un problema di ottimizzazione, LDA ha una soluzione analitica. Il problema di ottimizzazione per SVM ha una formulazione doppia e primaria che consente all'utente di ottimizzare il numero di punti dati o il numero di variabili, a seconda del metodo più computazionalmente fattibile. SVM può anche utilizzare i kernel per trasformare il classificatore SVM da un classificatore lineare in un classificatore non lineare. Usa il tuo motore di ricerca preferito per cercare "trucco del kernel SVM" per vedere come SVM utilizza i kernel per trasformare lo spazio dei parametri.

LDA si avvale dell'intero set di dati per stimare le matrici di covarianza ed è quindi soggetto a valori anomali. SVM è ottimizzato su un sottoinsieme dei dati, ovvero quei punti di dati che si trovano sul margine di separazione. I punti dati utilizzati per l'ottimizzazione sono chiamati vettori di supporto, poiché determinano il modo in cui SVM discrimina tra i gruppi e quindi supporta la classificazione.

Per quanto ne so, SVM non discrimina veramente bene tra più di due classi. Un'alternativa solida fuori dal comune è quella di utilizzare la classificazione logistica. LDA gestisce bene diverse classi, purché le ipotesi siano soddisfatte. Credo, sebbene (avvertimento: affermazione terribilmente priva di fondamento) che diversi vecchi parametri di riferimento hanno scoperto che l'LDA di solito funziona abbastanza bene in molte circostanze e che l'LDA / QDA sono spesso goto metodi nell'analisi iniziale.

$p>n$

In breve: LDA e SVM hanno molto poco in comune. Fortunatamente, sono entrambi estremamente utili.

SVM si concentra solo sui punti difficili da classificare, LDA si concentra su tutti i punti dati. Tali punti difficili sono vicini al limite decisionale e sono chiamati Vettori di supporto . Il limite di decisione può essere lineare, ma anche ad esempio un kernel RBF o un kernel polinomiale. Dove LDA è una trasformazione lineare per massimizzare la separabilità.

LDA presuppone che i punti dati abbiano la stessa covarianza e si presume che la densità di probabilità sia normalmente distribuita. SVM non ha tale presupposto.

LDA è generativo, SVM è discriminante.

Risposta breve e dolce:

Le risposte sopra sono molto approfondite, quindi ecco una breve descrizione di come funzionano LDA e SVM.

Le macchine vettore di supporto trovano un separatore lineare (combinazione lineare, iperpiano) che separa le classi con il minimo errore e sceglie il separatore con il margine massimo (la larghezza che il bordo potrebbe essere aumentato prima di colpire un punto dati).

Ad esempio, quale separatore lineare separa meglio le classi?

Quello con il margine massimo:

L'analisi discriminante lineare trova i vettori medi di ogni classe, quindi trova la direzione di proiezione (rotazione) che massimizza la separazione dei mezzi:

Tiene anche conto della varianza all'interno della classe per trovare una proiezione che minimizzi la sovrapposizione delle distribuzioni (covarianza) massimizzando la separazione dei mezzi: