Cosa può indurre PCA a peggiorare i risultati di un classificatore?

Ho un classificatore su cui sto eseguendo la convalida incrociata, insieme a un centinaio di funzionalità su cui sto facendo la selezione in avanti per trovare combinazioni ottimali di funzionalità. Inoltre paragone questo con l'esecuzione degli stessi esperimenti con PCA, in cui prendo le potenziali funzionalità, applico SVD, trasformo i segnali originali nel nuovo spazio di coordinate e utilizzo le principali funzioni nel mio processo di selezione diretta.$k$

La mia intuizione era che PCA avrebbe migliorato i risultati, in quanto i segnali sarebbero stati più "informativi" rispetto alle caratteristiche originali. La mia ingenua comprensione del PCA mi sta mettendo nei guai? Qualcuno può suggerire alcuni dei motivi comuni per cui PCA può migliorare i risultati in alcune situazioni, ma peggiorarli in altre?

Si consideri un caso semplice, tratto da un articolo formidabile e sottovalutato "Una nota sull'uso dei componenti principali nella regressione" .

Supponiamo di avere solo due funzioni (ridimensionate e sottratte), denotale e x 2 con correlazione positiva uguale a 0,5, allineata in X e una terza variabile di risposta Y che desideri classificare. Supponiamo che la classificazione di Y sia completamente determinata dal segno di x 1 - x 2 .$x_1$$x_2$$X$$Y$$Y$$x_1 - x_2$

L'esecuzione di PCA su comporta le nuove funzionalità (ordinate per varianza) [ x 1 + x 2 , x 1 - x 2 ] , poiché Var ( x 1 + x 2 ) = 1 + 1 + 2 ρ > Var ( x 1 - x 2 ) = 2 - 2 $X$$[x_1 + x_2, x_1 - x_2]$$\operatorname{Var}( x_1 + x_2 ) = 1 + 1 + 2\rho > \operatorname{Var}(x_1 - x_2 ) = 2 - 2\rho$. Pertanto, se riduci la tua dimensione a 1, ovvero il primo componente principale, stai gettando via la soluzione esatta alla tua classificazione!

Il problema si verifica perché PCA è agnostico per . Sfortunatamente, non si può nemmeno includere Y nel PCA poiché ciò comporterà la perdita di dati.$Y$$Y$

La perdita di dati si verifica quando la matrice viene costruita utilizzando i predittori di destinazione in questione, quindi qualsiasi previsione fuori campione sarà impossibile.$X$

Ad esempio: nelle serie temporali finanziarie, tentare di prevedere la chiusura europea di fine giornata, che si verifica alle 11:00 EST, utilizzando la chiusura americana di fine giornata, alle 16:00 EST, è una perdita di dati dalla chiusura americana , che si verificano ore dopo, hanno incorporato i prezzi delle chiusure europee.

C'è una semplice spiegazione geometrica. Prova il seguente esempio in R e ricorda che il primo componente principale massimizza la varianza.

library(ggplot2)

n <- 400
z <- matrix(rnorm(n * 2), nrow = n, ncol = 2)
y <- sample(c(-1,1), size = n, replace = TRUE)

# PCA helps
df.good <- data.frame(
    y = as.factor(y), 
    x = z + tcrossprod(y, c(10, 0))
)
qplot(x.1, x.2, data = df.good, color = y) + coord_equal()

# PCA hurts
df.bad <- data.frame(
    y = as.factor(y), 
    x = z %*% diag(c(10, 1), 2, 2) + tcrossprod(y, c(0, 8))
)
qplot(x.1, x.2, data = df.bad, color = y) + coord_equal()

Aiuti PCA

La direzione della varianza massima è orizzontale e le classi sono separate orizzontalmente.

PCA fa male

La direzione della varianza massima è orizzontale, ma le classi sono separate verticalmente

PCA è lineare, fa male quando vuoi vedere dipendenze non lineari.

PCA sulle immagini come vettori:

Un algoritmo non lineare (NLDR) che riduce le immagini a 2 dimensioni, rotazione e scala:

Ulteriori informazioni: http://en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction

Vedo che la domanda ha già una risposta accettata, ma volevo condividere questo documento che parla dell'utilizzo di PCA per la trasformazione delle funzionalità prima della classificazione .

Il messaggio da portare a casa (che viene visualizzato magnificamente nella risposta di @ vqv) è:

L'analisi dei componenti principali (PCA) si basa sull'estrazione degli assi su cui i dati mostrano la massima variabilità. Sebbene la PCA “diffonda” i dati nella nuova base e possa essere di grande aiuto nell'apprendimento non supervisionato, non vi è alcuna garanzia che i nuovi assi siano coerenti con le caratteristiche discriminatorie in un problema di classificazione (supervisionato).

Per coloro che sono interessati, se si guarda alla Sezione 4. Risultati sperimentali , confrontano le accuratezze della classificazione con 1) i featuers originali, 2) PCA ha trasformato le funzionalità e 3) la combinazione di entrambi, che era qualcosa di nuovo per me.

La mia conclusione:

Le trasformazioni di funzionalità basate su PCA consentono di sintetizzare le informazioni da un gran numero di funzionalità in un numero limitato di componenti, ovvero combinazioni lineari delle caratteristiche originali. Tuttavia, i componenti principali sono spesso difficili da interpretare (non intuitivi) e poiché i risultati empirici in questo documento indicano che di solito non migliorano le prestazioni di classificazione.

PS: Noto che uno dei limiti del documento che avrebbe potuto essere elencato era il fatto che gli autori limitavano la valutazione delle prestazioni dei classificatori solo alla "competenza", che può essere un indicatore di prestazioni molto distorto.

$x_1,x_2,x_3$$y$$x_3=y$

$y$$x_3$

$x_1$$x_2$$x_3$$y$