Carichi vs autovettori in PCA: quando utilizzare l'uno o l'altro?

Nell'analisi dei componenti principali (PCA), otteniamo autovettori (vettori di unità) ed autovalori. Ora, definiamo i caricamenti come

So che gli autovettori sono solo direzioni e i caricamenti (come definiti sopra) includono anche la varianza lungo queste direzioni. Ma per una mia migliore comprensione, vorrei sapere dove dovrei usare i caricamenti anziché gli autovettori? Un esempio sarebbe perfetto!

In genere ho visto solo persone che usano autovettori, ma ogni tanto usano caricamenti (come definito sopra) e poi mi viene la sensazione di non capire davvero la differenza.

In PCA, si divide la matrice di covarianza (o correlazione) in parte in scala (autovalori) e parte in direzione (autovettori). È quindi possibile dotare gli autovettori con la scala: caricamenti . Quindi, i caricamenti diventano così comparabili per grandezza con le covarianze / correlazioni osservate tra le variabili, - perché ciò che era stato ricavato dalla covariazione delle variabili ora ritorna indietro - nella forma della covariazione tra le variabili e i componenti principali. In realtà, i caricamenti sono le covarianze / correlazioni tra le variabili originali e i componenti in scala unitaria . Questa risposta mostra geometricamente quali sono i carichi e quali sono i coefficienti che associano i componenti alle variabili nell'analisi PCA o dei fattori.

Caricamenti :

1. Aiutarti a interpretare i principali componenti o fattori; Perché sono i pesi della combinazione lineare (coefficienti) in base ai quali componenti o fattori in scala unitaria definiscono o "caricano" una variabile .

   (L'autovettore è solo un coefficiente di trasformazione o proiezione ortogonale , è privo di "carico" all'interno del suo valore. "Carico" è (informazione sulla quantità di) varianza, grandezza. I PC vengono estratti per spiegare la varianza delle variabili. Gli autovalori sono le varianze di (= spiegato da) PC. Quando moltiplichiamo l'autovettore per sq.root del valore eivenval "cariciamo" il coefficiente nudo per la quantità di varianza. Con tale virtù facciamo del coefficiente la misura dell'associazione , co- variabilità.)

2. I carichi a volte vengono "ruotati" (ad es. Varimax) in seguito per facilitare l'interpretazione ( vedi anche );

3. Sono i caricamenti che "ripristinano" la matrice originale di covarianza / correlazione (vedi anche questo thread che discute le sfumature di PCA e FA a tale riguardo);

4. Mentre in PCA è possibile calcolare i valori dei componenti sia dagli autovettori che dai carichi, nell'analisi fattoriale si calcolano i punteggi dei fattori dai carichi .

5. E, soprattutto, la matrice di caricamento è istruttiva: le sue somme verticali di quadrati sono gli autovalori, le varianze dei componenti e le sue somme orizzontali di quadrati sono porzioni delle varianze delle variabili che vengono "spiegate" dai componenti.

6. Il caricamento ridimensionato o standardizzato è il carico diviso per la st della variabile. deviazione; è la correlazione. (Se il tuo PCA è un PCA basato sulla correlazione, il caricamento è uguale a quello riscalato, perché il PCA basato sulla correlazione è il PCA su variabili standardizzate.) Il quadrato di caricamento riscalato ha il significato del contributo di un pr. componente in una variabile; se è alto (vicino a 1) la variabile è ben definita solo da quel componente.

Un esempio di calcoli eseguiti in PCA e FA che puoi vedere .

Gli autovettori sono caricamenti in scala unitaria; e sono i coefficienti (i coseni) della trasformazione ortogonale (rotazione) delle variabili in componenti principali o indietro. Pertanto è facile calcolare i valori dei componenti (non standardizzati) con essi. Inoltre il loro utilizzo è limitato. Il valore di autovettore al quadrato ha il significato del contributo di una variabile in un pr. componente; se è alto (vicino a 1) il componente è ben definito solo da quella variabile.

Sebbene autovettori e caricamenti siano semplicemente due modi diversi per normalizzare le coordinate degli stessi punti che rappresentano colonne (variabili) dei dati su un biplot , non è una buona idea mescolare i due termini. Questa risposta ha spiegato il perché. Vedi anche .

Sembra esserci molta confusione su caricamenti, coefficienti ed autovettori. Il caricamento delle parole deriva dall'analisi fattoriale e fa riferimento ai coefficienti di regressione della matrice di dati sui fattori. Non sono i coefficienti che definiscono i fattori. Vedi ad esempio Mardia, Bibby e Kent o altri libri di testo statistici multivariati.

Negli ultimi anni la parola loadings è stata usata per indicare i coefficienti dei PC. Qui sembra che fosse usato per indicare i coefficienti moltiplicati per il sqrt degli autovalori della matrice. Queste non sono quantità comunemente usate in PCA. Le componenti principali sono definite come la somma delle variabili ponderate con coefficienti di norma unitaria. In questo modo i PC hanno una norma uguale all'autovalore corrispondente, che a sua volta è uguale alla varianza spiegata dal componente.

È nell'analisi fattoriale che i fattori devono avere una norma unitaria. Ma FA e PCA sono completamente diversi. La rotazione del coefficiente dei PC viene eseguita molto raramente perché distrugge l'ottimalità dei componenti.

Nella FA i fattori non sono definiti in modo univoco e possono essere stimati in diversi modi. Le quantità importanti sono i caricamenti (quelli veri) e le comunità che vengono utilizzati per studiare la struttura della matrice di covarianza. PCA o PLS devono essere utilizzati per stimare i componenti.

In Factor Analysis (using PCA for extraction), we get orthonormal eigen vectors (unit vectors) and corresponding eigenvalues. Now, loadings are defined as 

Carichi = autovettori ortogonali⋅ Radice quadrata di (valori di autovelox assoluto) Qui i vettori di autovettori ortonormali (ovvero il termine autovettori ortogonali) forniscono una direzione e il termine radice quadrata di (valori di autovelox assoluto) fornisce il valore.

Di solito la gente dice che i segni nei caricamenti non sono importanti ma la sua grandezza è importante. Ma se invertiamo la direzione di un vettore di autovettori (mantenendo il segno di altri vettori di autovoli così come sono), i punteggi dei fattori cambieranno. Quindi le ulteriori analisi saranno influenzate in modo significativo.

Finora non sono riuscito a ottenere una soluzione soddisfacente a questa ambiguità.

Sembra esserci un po 'di confusione su questo argomento, quindi fornirò alcune osservazioni e un indicatore di dove si può trovare una risposta eccellente in letteratura.

In primo luogo, PCA e Factor Analysis (FA) sono correlati. In generale, i componenti principali sono ortogonali per definizione, mentre i fattori - l'entità analoga in FA - non lo sono. In parole povere, i componenti principali coprono lo spazio dei fattori in modo arbitrario ma non necessariamente utile a causa della loro derivazione dalla pura eigenanalisi dei dati. D'altra parte, i fattori rappresentano entità del mondo reale che sono solo ortogonali (cioè non correlate o indipendenti) per coincidenza.

Diciamo prendiamo s osservazioni da ciascuna l soggetti. Questi possono essere disposti in una matrice di dati D con s righe e l colonne. D può essere scomposto in una matrice di punteggio S e una matrice di caricamento L in modo tale che D = SL . S avrà s righe e L avrà l colonne, la seconda dimensione di ciascuna è il numero di fattori n . Lo scopo dell'analisi fattoriale è di scomporre Din modo tale da rivelare i punteggi e i fattori sottostanti. I carichi a L ci dicono la proporzione di ogni punteggio che compongono le osservazioni in D .

Nel PCA, L ha gli autovettori della matrice di correlazione o covarianza di D come colonne. Questi sono convenzionalmente disposti in ordine decrescente degli autovalori corrispondenti. Il valore di n - ovvero il numero di componenti principali significativi da conservare nell'analisi, e quindi il numero di righe di L - è tipicamente determinato mediante l'uso di un diagramma a ghiaia degli autovalori o uno dei numerosi altri metodi che si trovano in la letteratura. Le colonne di S in PCA formano gli stessi n componenti principali astratti. Il valore di n è la dimensionalità sottostante dell'insieme di dati.

L'oggetto di analisi fattoriale è trasformare i componenti astratti in fattori significativi attraverso l'uso di una trasformazione di matrice T tale che D = STT ^-1 L . ( ST ) è la matrice di punteggio trasformata e ( T ^-1 L ) è la matrice di caricamento trasformata.

La spiegazione di cui sopra segue approssimativamente la notazione di Edmund R. Malinowski dalla sua eccellente analisi fattoriale in chimica . Consiglio vivamente i capitoli di apertura come introduzione all'argomento.

Sono un po 'confuso da quei nomi, e ho cercato nel libro intitolato "Metodi statistici nella scienza dell'atmosfera", e mi ha dato un riassunto della variegata terminologia della PCA, ecco gli screenshot del libro, spero che possa aiutare.