Selezione dei componenti PCA che separano i gruppi

Ho usato spesso per diagnosticare i miei dati multivariati usando PCA (dati omici con centinaia di migliaia di variabili e dozzine o centinaia di campioni). I dati provengono spesso da esperimenti con diverse variabili categoriali indipendenti che definiscono alcuni gruppi e spesso devo passare attraverso alcuni componenti prima di poter trovare quelli che mostrano una separazione tra i gruppi di interesse. Ho trovato un modo piuttosto primitivo di trovare componenti così discriminanti, e mi chiedo

1. in che misura ciò sia ragionevole / giustificabile e
2. se ci sono modi migliori per ottenere lo stesso.

Si noti che questo è esplorativo. Prima di convincere qualcun altro, voglio convincere me stesso. Se vedo che ci sono componenti che distinguono chiaramente i gruppi di interesse (ad es. Controllo vs trattamento), anche se sono responsabili di una piccola parte della varianza delle risposte, mi fido più di un risultato, per esempio, di una macchina supervisionata apprendimento.

Ecco il mio approccio. Userò il set di dati di esempio "metabo" da pca3d in R.

L'idea è di valutare quanta varianza di ciascun componente può essere spiegata dalla variabile indipendente. Per questo, calcolo un modello semplice per ogni componente e uso $R^2$ come metrica per ordinare i componenti da "più interessante" a "meno interessante".

require( pca3d )
# data on metabolic profiles of TB patients and controls
data( metabo )
# first column is the independent variable
pca <- prcomp( metabo[,-1], scale.= T ) 

# create a model for each component
lm.m <- lm( pca$x ~ metabo[,1] )
lm.s <- summary( lm.m )
lm.r2 <- sapply( lm.s, function( x ) x$r.squared )
plot( lm.r2, type= "l" )
text( 1:length( lm.r2 ), lm.r2, 1:length( lm.r2 ), pos= 3 )

Ecco il risultato. Il grafico mostra la percentuale di varianza di ciascun componente spiegata dalla variabile indipendente in metabo[,1].

Possiamo ordinare i componenti per per scoprire con quali visualizzare ; i primi tre componenti sono 2, 1 e 7.$r^2$order( lm.r2, decreasing= TRUE )

pca3d( pca, components= c( 1, 2, 7 ), group= metabo[,1] )

Ecco la trama:

(Le categorie rossa e verde sono due gruppi di soggetti che non sono pazienti e si prevede che non possano essere distinti.)

Per riformulare le mie domande,

1. Questo approccio ha senso per te? Il mio problema è che sembra troppo un dragaggio di dati. Inoltre, intuitivamente penso che forse dovrei girare la tabella e chiedere quale parte della varianza nella variabile indipendente è spiegata da ciascuna variabile? Infine, sono (quasi) sicuro che sto reinventando la ruota, male, quindi la mia seconda domanda è
2. C'è qualcosa di meglio?

Si noti che non voglio passare a minimi quadrati parziali o qualcosa di simile in questa fase; Voglio solo diagnosticare il PCA nel contesto della mia classificazione.

La risposta alla tua domanda n. 1 è sì, la tua soluzione equivale al dragaggio dei dati. La risposta alla tua domanda n. 2 è sì, ci sono metodi superiori in letteratura.

$n << p$

Stai eseguendo un'analisi che ricorda la regressione dei componenti principali, tranne per il fatto che hai scambiato le tue variabili indipendenti e dipendenti, risultando in una grande analisi di regressione multivariata (anziché multipla ). La regressione multivariata richiede che la dimensione del campione sia maggiore del numero di variabili dipendenti, un requisito che si sta completamente violando nell'esempio.

Se sei veramente impegnato a eseguire PCA sui tuoi dati e quindi a utilizzare la regressione multivariata, devi utilizzare un metodo appropriato. Ad esempio, esaminare MRCE e i relativi metodi [1].

Tuttavia, nonostante alcuni commenti sconcertanti che hai fatto, tutto nella tua analisi come attualmente presentato suggerisce che il tuo obiettivo finale è quello di identificare le relazioni tra un ampio insieme di variabili continue (metabo [, - 1]) e una singola variabile categoriale (metabo [ , 1]). PCA è un modo scadente per raggiungere questo obiettivo. Esistono due classi generali di soluzioni a questo problema nel caso ad alta dimensione: primo, soluzioni che assumono la scarsità e soluzioni che assumono una struttura fattoriale.

Le soluzioni basate sulla sparsità presuppongono in genere che solo una percentuale molto piccola di variabili sia effettivamente correlata alla variabile categorica di interesse e tentano di trovare questo piccolo sottoinsieme; per esempio vedi DALASS [2]. I metodi basati sulla struttura fattoriale presuppongono che le variabili discriminatorie siano manifestazioni di variabili latenti sottostanti con una relazione reale con la variabile categoriale. Un esempio di questa classe di metodi è DLDA [3].

Nota che sto non necessariamente raccomandando i metodi che ho citato per i dati; è necessario considerare attentamente i propri obiettivi e la conoscenza a priori del problema nella scelta di un metodo appropriato.

[1] Rothman, Levina, Zhu (2010). Regressione multivariata sparsa con stima della covarianza. Giornale di statistica computazionale e grafica, volume 19, numero 4, pagine 947-962.

[2] Nickolay T. Trendafilov, Ian T. Jolliffe, DALASS: Selezione variabile nell'analisi discriminante tramite LASSO, Statistiche computazionali e analisi dei dati, Volume 51, Numero 8, 1 maggio 2007, Pagine 3718-3736.

[3] Yu, Yang (2001). Un algoritmo LDA diretto per dati ad alta dimensione con applicazione per il riconoscimento facciale. Pattern Recognition 34, 2067-2070.

@ahfoss ti ha già indicato LDA come analogo della classificazione al PCA. In realtà, questi due metodi sono correlati tra loro e anche con PLS:

nature of dependent variable (for supervised)     unsupervised    supervised
or structure of data (unsupervised)
continuous                                        PCA             PLS
factor/groups/classes                                             LDA

$\mathbf I$$\mathbf I$

$n \ll p$

PLS può essere visto come una regolarizzazione come il LASSO, ed è anche disponibile un PLS scarso (anche se non l'ho usato: i miei dati sono più adatti al normale PLS, che non assume la scarsità). Per una bella discussione sui diversi metodi di regolarizzazione, vedi ad esempio gli Elementi di apprendimento statistico .

$n \gg p$

$\mathbf T =$$\mathbf X \times$$\mathbf W$
$\mathbf L =$$\mathbf X\times$$\mathbf B$

$\mathbf L'^{(n \times k - 1)} = \mathbf T^{(n \times m)} \mathbf B'^{(m \times k - 1)}$
$\phantom{\mathbf L^{(n \times k - 1)}} = \mathbf X^{(n \times p)} \mathbf W^{(p \times m)} \mathbf B'^{(m \times k - 1)}$
$\phantom{\mathbf L^{(n \times k - 1)}} = \mathbf X^{(n \times p)} \mathbf B''^{(p \times k - 1)}$
$\mathbf L'$$\mathbf B''$$\mathbf B'$$\mathbf B$

Nota pratica: se lavori in R, ho un pacchetto in fase di sviluppo che fornisce i modelli PLS-LDA e PCA-LDA. Fammi sapere se vuoi provarlo.

Per evitare il dragaggio dei dati, è necessario convalidare il modello finale (= misurare le prestazioni) con dati indipendenti.

Indipendente qui significa che questo caso (paziente?) Non ha contribuito in alcun modo all'adattamento del modello . In particolare,

• non ha inserito alcun tipo di preelaborazione che coinvolge più casi, come la centratura o la standardizzazione
• non ha inserito il calcolo PCA / PLS / ....
• non è stato utilizzato per la stima dell'iperparametro.

Dato che hai solo pochi casi, una strategia di ricampionamento sarebbe appropriata. In questa situazione, è probabilmente meglio correggere eventuali iperparametri (come il numero di PC o variabili latenti di PLS o il limite LASSO) mediante conoscenze esterne al fine di evitare una seconda divisione interna dei dati di allenamento per l'ottimizzazione dell'iperparametro.