Quando useresti PCA anziché LDA nella classificazione?

10

Sto leggendo questo articolo sulla differenza tra l'analisi dei componenti di principio e l'analisi discriminante multipla (analisi discriminante lineare) e sto cercando di capire perché dovresti mai usare PCA piuttosto che MDA / LDA.

La spiegazione è riassunta come segue:

parlando approssimativamente in PCA stiamo cercando di trovare gli assi con le varianze massime in cui i dati sono maggiormente diffusi (all'interno di una classe, poiché PCA tratta l'intero set di dati come una classe) e in MDA stiamo inoltre massimizzando la diffusione tra le classi.

Non vorresti sempre sia massimizzare la varianza sia massimizzare la diffusione tra le classi?

— Chris
fonte

1

scusate, intendevo analisi multiple discriminanti che sembrano essere chiamate anche analisi discriminanti lineari multiple

— chris

1

Dovresti chiarire la tua domanda, perché fin d'ora è banale: dovresti preferire PCA a MDA quando non ci sono classi da discriminare nei tuoi dati. Penso che dovresti specificare che si tratta della classificazione nella domanda.

— Firebug

1

LDA è un termine molto più comune di MDA. Non è necessario dire "multiplo lineare", "lineare" è sufficiente.

— amoeba,

11

Ti manca qualcosa di più profondo: PCA non è un metodo di classificazione.

La PCA nell'apprendimento automatico viene considerata come un metodo di ingegneria delle funzionalità. Quando applichi la PCA ai tuoi dati garantisci che non ci sarà alcuna correlazione tra le funzionalità risultanti. Molti algoritmi di classificazione ne traggono beneficio.

Bisogna sempre tenere presente che gli algoritmi potrebbero avere ipotesi sui dati e se tali ipotesi non valgono potrebbero non funzionare.

LDA deve calcolare un'inversione di matrice di covarianza di proiettare i dati (controllare questi fili e risposte: ? Dovrebbe PCA essere eseguita prima di fare la classificazione e ha senso di combinare PCA e LDA? ). Se si dispone di pochi dati, questo è instabile e si ottengono proiezioni eccessive verso i punti dati, ovvero una matrice di covarianza all'interno della classe singolare. La PCA viene generalmente utilizzata per evitarlo, riducendo la dimensionalità del problema.

Quindi la risposta è che non usi mai PCA per fare la classificazione, ma puoi usarlo per cercare di migliorare le prestazioni di LDA.

— Firebug
fonte

7

Mentre la risposta precedente di Firebug è corretta, voglio aggiungere un'altra prospettiva:

Apprendimento non supervisionato vs supervisionato:

LDA è molto utile per trovare dimensioni che mirano a separare il cluster, quindi dovrai conoscere i cluster prima. LDA non è necessariamente un classificatore, ma può essere usato come tale. Pertanto la LDA può essere utilizzata solo nell'apprendimento supervisionato

L'APC è un approccio generale per il denoising e la riduzione della dimensionalità e non richiede ulteriori informazioni come le etichette di classe nell'apprendimento supervisionato. Pertanto può essere utilizzato nell'apprendimento non supervisionato.

— Nikolas Rieble
fonte

2

+1, in particolare per LDA is not neccesarily a classifier. Si consiglia anche a un lettore (anche l'OP) di leggere questa domanda correlata: come la LDA, una tecnica di classificazione, funge anche da tecnica di riduzione della dimensionalità come la PCA .

— ttnphns,

e le risposte qui confrontano output e grafici di LDA e PCA come dim. riduzioni.

— ttnphns,

(+1) LDA è in realtà una tecnica di riduzione dimensionale, una generalizzazione del discriminante lineare di Fisher, che le persone di solito considerano un criterio di classificazione.

— Firebug,

2

LDA viene utilizzato per scolpire lo spazio multidimensionale.

PCA viene utilizzato per comprimere lo spazio multidimensionale.

Ad esempio: gli oggetti 3D proiettano ombre 2D. La PCA spesso ci consente di comprimere centinaia di dimensioni spaziali in una manciata di dimensioni spaziali inferiori preservando il 70% - 90% delle informazioni importanti.

Proprio come posso vedere la dimensione e la forma della tua mano dalla sua ombra. Non posso dirti tutto sulla forma della tua mano. Ma avendo una raccolta di 3 o 4 ombre da angoli noti ottimali. Quindi potrei dirti molte cose sulla dimensione e la forma della mano.

— chiodo senza testa
fonte