Qual è la differenza tra "caricamenti" e "caricamenti di correlazione" in PCA e PLS?

Una cosa comune da fare quando si esegue l'analisi dei componenti principali (PCA) è tracciare due carichi uno contro l'altro per studiare le relazioni tra le variabili. Nel documento che accompagna il pacchetto PLS R per eseguire la regressione dei componenti principali e la regressione del PLS c'è un diagramma diverso, chiamato diagramma dei carichi di correlazione (vedere la figura 7 e la pagina 15 nel documento). Il caricamento della correlazione , come spiegato, è la correlazione tra i punteggi (dal PCA o PLS) e i dati effettivamente osservati.

Mi sembra che i caricamenti e i caricamenti di correlazione siano abbastanza simili, tranne per il fatto che sono ridimensionati in modo leggermente diverso. Un esempio riproducibile in R, con il set di dati incorporato mtcars è il seguente:

data(mtcars)
pca <- prcomp(mtcars, center=TRUE, scale=TRUE)

#loading plot
plot(pca$rotation[,1], pca$rotation[,2],
     xlim=c(-1,1), ylim=c(-1,1),
     main='Loadings for PC1 vs. PC2')

#correlation loading plot
correlationloadings <- cor(mtcars, pca$x)
plot(correlationloadings[,1], correlationloadings[,2],
     xlim=c(-1,1), ylim=c(-1,1),
     main='Correlation Loadings for PC1 vs. PC2')

Qual è la differenza nell'interpretazione di questi grafici? E quale trama (se presente) è meglio usare in pratica?

Attenzione: Rusa il termine "caricamenti" in modo confuso. Lo spiego di seguito.

Prendi in considerazione il set di dati con variabili (centrate) nelle colonne e punti dati nelle righe. L'esecuzione del PCA di questo set di dati equivale a una scomposizione del valore singolare . Le colonne di sono componenti principali ("punteggi" del PC) e le colonne di sono assi principali. La matrice di covarianza è data da , quindi gli assi principali sono autovettori della matrice di covarianza.$\mathbf{X}$$N$$\mathbf{X} = \mathbf{U} \mathbf{S} \mathbf{V}^\top$$\mathbf{US}$$\mathbf{V}$$\frac{1}{N-1}\mathbf{X}^\top\mathbf{X} = \mathbf{V}\frac{\mathbf{S}^2}{{N-1}}\mathbf{V}^\top$$\mathbf{V}$

I "caricamenti" sono definiti come colonne di , cioè sono autovettori scalati dalle radici quadrate dei rispettivi autovalori. Sono diversi dagli autovettori! Vedi la mia risposta qui per la motivazione.$\mathbf{L}=\mathbf{V}\frac{\mathbf S}{\sqrt{N-1}}$

Usando questo formalismo, possiamo calcolare la matrice di covarianza tra variabili originali e PC standardizzati: ovvero è dato dai caricamenti. La matrice di correlazione incrociata tra variabili originali e PC è data dalla stessa espressione divisa per le deviazioni standard delle variabili originali (per definizione di correlazione). Se le variabili originali sono state standardizzate prima di eseguire la PCA (ovvero la PCA è stata eseguita sulla matrice di correlazione) sono tutte uguali a . In quest'ultimo caso la matrice di correlazione incrociata viene nuovamente data semplicemente da .

Per chiarire la confusione terminologica: ciò che il pacchetto R chiama "caricamenti" sono gli assi principali e quelli che chiama "caricamenti di correlazione" sono in realtà caricamenti. Come ti sei notato, differiscono solo per il ridimensionamento. Cosa è meglio tracciare, dipende da cosa vuoi vedere. Considera un semplice esempio seguente:

La sottotrama sinistra mostra un set di dati 2D standardizzato (ogni variabile ha una varianza unitaria), allungata lungo la diagonale principale. La sottotrama centrale è un biplot : è un diagramma a dispersione di PC1 vs PC2 (in questo caso semplicemente il set di dati ruotato di 45 gradi) con righe di tracciate in alto come vettori. Si noti che ed vettori sono 90 gradi l'uno dall'altro; ti dicono come sono orientati gli assi originali. La sottotrama destra è lo stesso biplot, ma ora i vettori mostrano le righe di . Si noti che ora ed vettori avere un angolo acuto tra loro; ti dicono quante variabili originali sono correlate ai PC e sia che x y L x y x $\mathbf{V}$$x$$y$$\mathbf{L}$$x$$y$$x$$y$sono molto più correlati con PC1 che con PC2. Mi immagino che la maggior parte delle persone il più delle volte preferiscono vedere il giusto tipo di biplot.

Si noti che in entrambi i casi sia ed vettori hanno lunghezza unitaria. Ciò è accaduto solo perché il set di dati era in 2D per cominciare; nel caso in cui vi siano più variabili, i singoli vettori possono avere una lunghezza inferiore a , ma non possono mai raggiungere l'esterno del cerchio unitario. Prova di ciò che lascio come esercizio.y $x$$y$$1$

Diamo ora un altro sguardo al set di dati mtcars . Ecco un biplot del PCA fatto sulla matrice di correlazione:

Le linee nere sono tracciate usando , le linee rosse sono tracciate usando .$\mathbf{V}$$\mathbf{L}$

Ed ecco un biplot dell'APC fatto sulla matrice di covarianza:

Qui ho ridimensionato tutti i vettori e il cerchio unitario di , perché altrimenti non sarebbe visibile (è un trucco comunemente usato). Ancora una volta, le linee nere mostrano le righe di e le linee rosse mostrano le correlazioni tra variabili e PC (che non sono più fornite da , vedi sopra). Si noti che sono visibili solo due linee nere; questo perché due variabili hanno una varianza molto elevata e dominano il set di dati mtcars . D'altra parte, si possono vedere tutte le linee rosse. Entrambe le rappresentazioni forniscono alcune informazioni utili.V $100$$\mathbf{V}$$\mathbf{L}$

PS Esistono diverse varianti di biplot PCA, vedere la mia risposta qui per ulteriori spiegazioni e una panoramica: Posizionamento delle frecce su un biplot PCA . Il biplot più bello mai pubblicato su CrossValidated può essere trovato qui .