Qual è la misura di associazione corretta di una variabile con un componente PCA (su un biplot / grafico di caricamento)?

Sto usando FactoMineRper ridurre il mio set di dati di misurazioni alle variabili latenti.

La mappa variabili di cui sopra è chiaro per me da interpretare, ma io sono confuso quando si tratta di associazioni tra le variabili e componenti 1. guardando la mappa variabile, ddped covè molto vicino alla componente nella mappa, ed ddpAbsè un po 'più lontano. Ma questo non è ciò che mostrano le correlazioni:

$Dim.1
$Dim.1$quanti
        correlation      p.value
jittAbs   0.9388158 1.166116e-11
rpvi      0.9388158 1.166116e-11
sd        0.9359214 1.912641e-11
ddpAbs    0.9327135 3.224252e-11
rapAbs    0.9327135 3.224252e-11
ppq5      0.9319101 3.660014e-11
ppq5Abs   0.9247266 1.066303e-10
cov       0.9150209 3.865897e-10
npvi      0.8853941 9.005243e-09
ddp       0.8554260 1.002460e-07
rap       0.8554260 1.002460e-07
jitt      0.8181207 1.042053e-06
cov5_x    0.6596751 4.533596e-04
ps13_20  -0.4593369 2.394361e-02
ps5_12   -0.5237125 8.625918e-03

Quindi c'è la sin2quantità, che è l'altezza per rpvi(per esempio), ma quella misura non è affatto la variabile più vicina al primo componente.

Variables
           Dim.1    ctr   cos2    Dim.2    ctr   cos2  
rpvi    |  0.939  8.126  0.881 |  0.147  1.020  0.022 |
npvi    |  0.885  7.227  0.784 |  0.075  0.267  0.006 |
cov     |  0.915  7.719  0.837 | -0.006  0.001  0.000 |
jittAbs |  0.939  8.126  0.881 |  0.147  1.020  0.022 |
jitt    |  0.818  6.171  0.669 |  0.090  0.380  0.008 |
rapAbs  |  0.933  8.020  0.870 |  0.126  0.746  0.016 |
rap     |  0.855  6.746  0.732 |  0.040  0.076  0.002 |
ppq5Abs |  0.925  7.884  0.855 |  0.091  0.392  0.008 |
ppq5    |  0.932  8.007  0.868 | -0.035  0.057  0.001 |
ddpAbs  |  0.933  8.020  0.870 |  0.126  0.746  0.016 |
ddp     |  0.855  6.746  0.732 |  0.040  0.076  0.002 |
pa      |  0.265  0.646  0.070 | -0.857 34.614  0.735 |
ps5_12  | -0.524  2.529  0.274 |  0.664 20.759  0.441 |
ps13_20 | -0.459  1.945  0.211 |  0.885 36.867  0.783 |
cov5_x  |  0.660  4.012  0.435 |  0.245  2.831  0.060 |
sd      |  0.936  8.076  0.876 |  0.056  0.150  0.003 |

Quindi, cosa dovrei guardare quando si tratta dell'associazione tra una variabile e il primo componente?

Spiegazione di un diagramma di caricamento di PCA o analisi fattoriale.

Il diagramma di caricamento mostra le variabili come punti nello spazio dei principali componenti (o fattori). Le coordinate delle variabili sono, di solito, i caricamenti. (Se si combina correttamente il diagramma di caricamento con il corrispondente diagramma a dispersione dei casi di dati nello stesso spazio dei componenti, sarebbe biplot.)

Diamo 3 variabili in qualche modo correlati, , W , U . Noi centriamo loro e ad effettuare PCA , l'estrazione di 2 primi componenti principali su tre: F 1 e F 2 . Usiamo i caricamenti come coordinate per eseguire il diagramma di caricamento di seguito. I caricamenti sono gli elementi degli autovettori non standardizzati, vale a dire gli autovettori dotati delle corrispondenti varianze dei componenti o autovalori.$V$$W$$U$$F_1$$F_2$

La trama di caricamento è l'aereo sull'immagine. Consideriamo unica variabile . La freccia abitualmente disegnata su un diagramma di caricamento è ciò che è etichettato h ′ qui; le coordinate a 1 , a 2 sono rispettivamente i caricamenti di V con F 1 e F 2 (si noti che terminologicamente è più corretto dire "componente carica una variabile", non viceversa).$V$$h'$$a_1$$a_2$$V$$F_1$$F_2$

Freccia è la proiezione sul piano componente, di vettore h che è la vera posizione della variabile V nelle variabili spazio attraversato da V , W , U . La lunghezza quadrata del vettore, h 2 , è la varianza una di V . Mentre h ′ 2 è la porzione di quella varianza spiegata dai due componenti.$h'$$h$$V$$V$$W$$U$$h^2$$\bf^a$$V$$h'^2$

Caricamento, correlazione, correlazione proiettata . Poiché le variabili erano centrate prima dell'estrazione dei componenti, è la correlazione di Pearson tra V e il componente F 1 . Ciò non deve essere confuso con cos α sul grafico di caricamento, che è un'altra quantità: è la correlazione di Pearson tra il componente F 1 e la variabile vettoriale qui come h ' . Come variabile, h ' è la previsione di V dai componenti (normalizzata) a regressione lineare (confrontare con il disegno della geometria regressione lineare qui$\cos \phi$$V$$F_1$$\cos \alpha$$F_1$$h'$$h'$$V$) dove i carichi 's sono i coefficienti di regressione (quando i componenti sono mantenuti ortogonali, come estratti).$a$

Ulteriore. Possiamo ricordare (trigonometria) che . Può essere inteso come il prodotto scalare tra il vettore V e il vettore di lunghezza unitaria F 1 : h ⋅ 1 ⋅ cos ϕ . F 1 imposta quel vettore varianza unità perché non ha una propria varianza a parte quella varianza di V che spiega (per quantità h ′ ): cioè F $a_1 = h \cdot \cos \phi$$V$$F_1$$h \cdot 1 \cdot \cos \phi$$F_1$$V$$h'$$F_1$è un'entità estratta da V, W, U e non un'entità invitata dall'esterno. Quindi, chiaramente, è lacovarianzatraVestandardizzata, in scala unitariab(per impostares1=$a_1 = \sqrt{var_{V} \cdot var_{F_1}} \cdot r = h \cdot 1 \cdot \cos \phi$$V$$\bf^b$) componenteF1. Questa covarianza è direttamente paragonabile alle covarianze tra le variabili di input; per esempio, la covarianza traVeWsarà il prodotto delle loro lunghezze vettoriali moltiplicato per il coseno tra di loro.$s_1=\sqrt{var_{F_1}}=1$$F_1$$V$$W$

Per riassumere: caricare può essere visto come la covarianza tra il componente standardizzato e la variabile osservata, h ⋅ 1 ⋅ cos ϕ , o equivalentemente tra il componente standardizzato e l'immagine spiegata (da tutti i componenti che definiscono la trama) dell'immagine variabile, h ′ ⋅ 1 ⋅ cos α . Quel cos α potrebbe essere chiamato correlazione V-F1 proiettata sul sottospazio del componente F1-F2.$a_1$$h \cdot 1 \cdot \cos \phi$$h' \cdot 1 \cdot \cos \alpha$$\cos \alpha$

La suddetta correlazione tra una variabile e un componente, , è anche chiamata caricamento standardizzato o riscalato . È conveniente nell'interpretazione dei componenti perché è nell'intervallo [-1,1].$\cos \phi = a_1/h$

Relazione con autovettori . Il caricamento ridimensionato non deve essere confuso con l' elemento autovettore che - come lo conosciamo - è il coseno dell'angolo tra una variabile e un componente principale. Ricordiamo che il caricamento è un elemento autovettore ridimensionato in base al valore singolare del componente (radice quadrata dell'autovalore). Vale a dire per la variabile V del nostro diagramma: a 1 = e 1 s 1 , dove s 1 è la st. deviazione (non 1 ma originale, ovvero il valore singolare) di F $\cos \phi$$V$$a_1= e_1s_1$$s_1$$1$$F_1$variabile latente. Quindi arriva quell'elemento autovettore , non ilcosϕstesso. La confusione attorno a due parole "coseno" si dissolve quando ricordiamo in che tipo di rappresentazione spaziale ci troviamo. Il valore di autovettoreècosenodell'angolo di rotazionedi una variabile come asse in pr. componente come asse nello spazio variabile (aka vista scatterplot),come qui. Mentrecosϕsul nostro diagramma di caricamentoè la misura della somiglianza del cosenotra una variabile come vettore e un pr. componente come ... beh .. anche come vettore, se ti piace (anche se è disegnato come asse sulla trama), - poiché siamo attualmente nellospazio soggetto$e_1= \frac{a_1}{s_1}=\frac{h}{s_1}\cos \phi$$\cos \phi$$\cos \phi$ (quale diagramma di caricamento è) dove le variabili correlate sono fan dei vettori - non sono assi ortogonali, - e gli angoli del vettore sono la misura dell'associazione - e non della rotazione della base spaziale.

Considerando che il carico è la misura di associazione angolare (cioè tipo di prodotto scalare) tra una variabile e un componente in scala unitaria, e il carico riscalato è il carico standardizzato in cui la scala della variabile è ridotta all'unità, ma il coefficiente di autovettore è il carico in cui il il componente è "sovra-standardizzato", ovvero è stato portato in scala (anziché 1); in alternativa, può essere pensato come un caricamento riscalato in cui la scala della variabile è stata portata in h / s (invece di 1).$1/s$$h/s$

Quindi, quali sono le associazioni tra una variabile e un componente? Puoi scegliere quello che ti piace. Può essere il caricamento (covarianza con componente in scala unitaria) ; il caricamento riscalato cos ϕ (= correlazione variabile-componente); correlazione tra l'immagine (previsione) e il componente (= correlazione proiettata cos α ). Puoi anche scegliere il coefficiente di autovettore e = a / s se ne hai bisogno (anche se mi chiedo quale potrebbe essere una ragione). O inventa la tua misura.$a$ $\cos \phi$$\cos \alpha$$e= a/s$

Il valore di autovettore al quadrato ha il significato del contributo di una variabile in un pr. componente. Il caricamento quadrato al quadrato ha il significato del contributo di un pr. componente in una variabile.

Relazione con PCA basata su correlazioni. Se analizzassimo la PCA non solo centrando ma standardizzando (centrando poi la scala di unità varianza), allora i tre vettori di variabili (non le loro proiezioni sul piano) sarebbero della stessa lunghezza unitaria. Quindi segue automaticamente che un caricamento è correlazione , non covarianza, tra una variabile e un componente. Ma che la correlazione non sarà uguale a "carico standardizzato" della foto sopra (sulla base dell'analisi di variabili solo centrate), a causa di variabili PCA standardizzati (correlazioni a base di PCA) rese diverse componenti di PCA di variabili centrate ( PCA basato sulle covarianze). In PCA basato sulla correlazione a $\cos \phi$ perché h = 1 , ma i componenti principalinonsonogli stessicomponenti principali che otteniamo dal PCA basato su covarianze (leggi,leggi).$a_1= \cos \phi$$h=1$

Nell'analisi fattoriale , il caricamento della trama ha fondamentalmente lo stesso concetto e la stessa interpretazione di PCA. L'unica (ma importante ) differenza è la sostanza di . Nell'analisi fattoriale, h ' - chiamata allora "comunanza" della variabile - è la porzione della sua varianza che è spiegata da fattori comuni che sono responsabili in particolare delle correlazioni tra le variabili. Mentre in PCA la parte spiegata h $h'$$h'$ $h'$è una "miscela" grossolana - in parte rappresenta correlazione e in parte non correlazione tra variabili. Con l'analisi dei fattori, il piano dei carichi sulla nostra immagine verrebbe orientato in modo diverso (in realtà, si estenderebbe addirittura dallo spazio delle nostre variabili 3d nella 4a dimensione, che non possiamo disegnare; il piano dei carichi non sarà un sottospazio del nostro Spazio 3d attraversato da e le altre due variabili) e la proiezione h ′ avrà un'altra lunghezza e con un altro angolo α . (La differenza teorica tra PCA e analisi dei fattori è spiegata geometricamente qui tramite la rappresentazione dello spazio soggetto e qui tramite la rappresentazione dello spazio variabile.)$V$$h'$$\alpha$

Una risposta alla richiesta di @Antoni Parellada nei commenti. È equivalente se si preferisce parlare in termini divarianzao in termini didispersione(SS di deviazione): varianza = dispersione / (n-1), dovenè la dimensione del campione. Poiché abbiamo a che fare con un set di dati con lo stesson, la costante non cambia nulla nelle formule. SeXè il dato (con le variabili V, W, U centrate), quindi la composizione di autogendenza della sua matrice di covarianza (A) produce gli stessi autovalori (varianze dei componenti) e autovettori come l'automisposizione della matrice di dispersione (B) X ′$\bf^{a,b}$$/(n-1)$$n$$n$$\bf X$$\bf X'X$ottenuto dopo la divisione iniziale di per $\bf X$ fattore. Successivamente, nella formula di un caricamento (vedere la sezione centrale della risposta),a1=h⋅s1⋅cosϕ, il terminehèst. deviazione$\sqrt{n-1}$$a_1 = h \cdot s_1 \cdot \cos \phi$$h$ in (A) ma dispersione radice (cioè norma)‖V‖in (B). Il termines1, che equivale a1,èlam delcomponenteF1standardizzata. deviazione$\sqrt{var_{V}}$$\Vert V \Vert$$s_1$$1$$F_1$ in (A) ma dispersione radice‖F1‖in (B). Infine,cosϕ=rè la correlazioneinsensibileall'utilizzo din-1nei suoi calcoli. Così, abbiamo semplicementeparliamoconcettualmente delle varianze (A) o di scatter (B), mentre i valori stessi rimangono gli stessi nella formula in entrambi i casi.$\sqrt{var_{F_1}}$$\Vert F_1 \Vert$$\cos \phi = r$$n-1$