La PCA è seguita da una rotazione (come varimax) è ancora PCA?

Ho provato a riprodurre alcune ricerche (usando PCA) da SPSS in R. Nella mia esperienza, la principal() funzione dal pacchetto è psychstata l'unica funzione che si è avvicinata (o se la mia memoria mi serve bene, esaurita) per abbinare l'output. Per abbinare gli stessi risultati di SPSS, ho dovuto usare il parametro principal(..., rotate = "varimax"). Ho visto articoli che parlano di come hanno fatto PCA, ma sulla base dell'output di SPSS e dell'uso della rotazione, sembra più un'analisi fattoriale.

Domanda: PCA, anche dopo la rotazione (utilizzo varimax), è ancora PCA? Avevo l'impressione che questo potesse essere in effetti un'analisi fattoriale ... Nel caso non lo fosse, quali dettagli mi mancano?

Questa domanda riguarda in gran parte le definizioni di PCA / FA, quindi le opinioni potrebbero essere diverse. La mia opinione è che PCA + varimax non dovrebbe essere chiamato PCA o FA, ma piuttosto esplicitamente definito ad esempio come "PCA ruotato da varimax".

Dovrei aggiungere che questo è un argomento piuttosto confuso. In questa risposta voglio spiegare quello che una rotazione in realtà è ; questo richiederà un po 'di matematica. Un lettore casuale può saltare direttamente all'illustrazione. Solo così possiamo discutere se la rotazione di PCA + dovrebbe o non debba essere chiamata "PCA".

Un riferimento è il libro di Jolliffe "Analisi dei componenti principali", sezione 11.1 "Rotazione dei componenti principali", ma trovo che potrebbe essere più chiaro.

---

Sia una matrice di dati che supponiamo sia centrata. PCA ammonta ( vedi la mia risposta qui ) a una decomposizione di valore singolare: . Esistono due viste equivalenti ma complementari su questa scomposizione: una vista "proiezione" più in stile PCA e una vista "variabili latenti" più stile FA. n × p X = U S V$\mathbf X$$n \times p$$\mathbf X=\mathbf{USV}^\top$

Secondo la vista in stile PCA, abbiamo trovato un gruppo di direzioni ortogonali (si tratta di autovettori della matrice di covarianza, chiamate anche "direzioni principali" o "assi") e "componenti principali" ( chiamati anche "punteggi" del componente principale) sono le proiezioni dei dati in queste direzioni. I componenti principali non sono correlati, il primo ha la varianza massima possibile, ecc. Possiamo scrivere:U S X = U S ⋅ V ⊤ = Punteggi ⋅ Direzioni principali $\mathbf V$$\mathbf{US}$

$$\mathbf X = \mathbf{US}\cdot \mathbf V^\top = \text{Scores} \cdot \text{Principal directions}.$$

Secondo la visione in stile FA, abbiamo trovato alcuni "fattori latenti" di varianza unitaria non correlata che danno origine alle variabili osservate tramite "caricamenti". Infatti, sono componenti principali standardizzati (non correlati e con varianza dell'unità) e se definiamo i carichi come , quindi (Nota che .) Entrambe le viste sono equivalenti. Si noti che i caricamenti sono autovettori ridimensionati in base ai rispettivi autovalori ( sono autovalori della matrice di covarianza).$\widetilde{\mathbf U}=\sqrt{n-1}\mathbf{U}$$\mathbf L = \mathbf{VS}/\sqrt{n-1}$

$$\mathbf X= \sqrt{n-1}\mathbf{U}\cdot (\mathbf{VS}/\sqrt{n-1})^\top =\widetilde{\mathbf U}\cdot \mathbf L^\top = \text{Standardized scores} \cdot \text{Loadings}.$$ $\mathbf{S}^\top=\mathbf{S}$$\mathbf{S}/\sqrt{n-1}$

(Dovrei aggiungere tra parentesi che PCA FA$\ne$ ; FA mira esplicitamente a trovare fattori latenti che sono mappati linearmente alle variabili osservate tramite caricamenti; è più flessibile di PCA e produce caricamenti diversi. Ecco perché preferisco chiamare quanto sopra "Vista in stile FA su PCA" e non FA, anche se alcune persone lo considerano uno dei metodi FA.)

Ora, cosa fa una rotazione? Ad esempio una rotazione ortogonale, come varimax. Innanzitutto, considera solo i componenti , ovvero:Quindi prende una quadrata ortogonale matrice e inserisce in questa scomposizione: dove i caricamenti ruotati sono dati da$k<p$

$$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_k \mathbf L^\top_k.$$ $k \times k$$\mathbf T$$\mathbf T\mathbf T^\top=\mathbf I$ $$\mathbf X \approx \mathbf U_k \mathbf S_k \mathbf V_k^\top = \mathbf U_k \mathbf T \mathbf T^\top \mathbf S_k \mathbf V_k^\top = \widetilde{\mathbf U}_\mathrm{rot} \mathbf L^\top_\mathrm{rot},$$ ˜ U r o t = ˜ U k T T L r o $\mathbf L_\mathrm{rot} = \mathbf L_k \mathbf T$E ruotato punteggi standardizzati sono date da . (Lo scopo di questo è di trovare tale che diventato il più vicino possibile ad essere rado, per facilitarne l'interpretazione.)$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U}_k \mathbf T$$\mathbf T$$\mathbf L_\mathrm{rot}$

Si noti che ciò che viene ruotato sono: (1) punteggi standardizzati, (2) caricamenti. Ma non i punteggi grezzi e non le direzioni principali! Quindi la rotazione avviene nello spazio latente , non nello spazio originale. Questo è assolutamente cruciale.

Dal punto di vista in stile FA, non è successo molto. (A) I fattori latenti sono ancora non correlati e standardizzati. (B) Sono ancora mappati alle variabili osservate tramite caricamenti (ruotati). (C) La quantità di varianza catturata da ciascun componente / fattore è data dalla somma dei valori al quadrato della colonna dei carichi corrispondenti in . (D) Dal punto di vista geometrico, i caricamenti si estendono ancora nello stesso sottospazio -dimensionale in (il sottospazio espanso dai primi autovettori PCA). (E) L'approssimazione a e l'errore di ricostruzione non sono cambiati affatto. (F) La matrice di covarianza è ancora approssimata ugualmente bene: k R p k$\mathbf L_\mathrm{rot}$$k$$\mathbb R^p$$k$$\mathbf X$

$$\boldsymbol \Sigma \approx \mathbf L_k\mathbf L_k^\top = \mathbf L_\mathrm{rot}\mathbf L_\mathrm{rot}^\top.$$

Ma il punto di vista in stile PCA è praticamente crollato. I caricamenti ruotati non corrispondono più alle direzioni / assi ortogonali in , ovvero le colonne di non sono ortogonali! Peggio ancora, se si proiettano [ortogonalmente] i dati sulle direzioni fornite dai carichi ruotati, si otterranno proiezioni correlate (!) E non sarà possibile recuperare i punteggi. [Invece, per calcolare i punteggi standardizzati dopo la rotazione, è necessario moltiplicare la matrice di dati con la pseudo-inversa di . In alternativa, si può semplicemente ruotare i punteggi standardizzati originali con la matrice di rotazione:$\mathbb R^p$$\mathbf L_\mathrm{rot}$$\widetilde{\mathbf U}_\mathrm{rot} = \mathbf X (\mathbf L_\mathrm{rot}^+)^\top$$\widetilde{\mathbf U}_\mathrm{rot} = \widetilde{\mathbf U} \mathbf T$ ] Inoltre, i componenti ruotati non catturano successivamente la massima quantità di varianza: la varianza viene ridistribuita tra i componenti (anche sebbene tutti i componenti ruotati catturino esattamente la stessa varianza di tutti i componenti principali originali).$k$$k$

Ecco un'illustrazione. I dati sono un'ellisse 2D allungata lungo la diagonale principale. La prima direzione principale è la diagonale principale, la seconda è ortogonale ad essa. I vettori di carico della PCA (autovettori scalati in base agli autovalori) sono mostrati in rosso - puntando in entrambe le direzioni e allungati anche da un fattore costante per la visibilità. Quindi ho applicato una rotazione ortogonale di ai caricamenti. I vettori di caricamento risultanti sono visualizzati in magenta. Nota come non sono ortogonali (!).$30^\circ$

Un'intuizione in stile FA qui è la seguente: immagina uno "spazio latente" in cui i punti riempiono un piccolo cerchio (provengono da un gaussiano 2D con varianze di unità). Questa distribuzione di punti viene quindi allungata lungo i caricamenti di PCA (rosso) per diventare l'ellisse di dati che vediamo in questa figura. Tuttavia, la stessa distribuzione di punti può essere ruotata e quindi allungata lungo i caricamenti di PCA ruotati (magenta) per diventare la stessa ellisse di dati .

[Per vedere effettivamente che una rotazione ortogonale dei carichi è una rotazione , è necessario guardare un biplot PCA; lì i vettori / raggi corrispondenti alle variabili originali ruoteranno semplicemente.]

---

Riassumiamo. Dopo una rotazione ortogonale (come varimax), gli assi "principali ruotati" non sono ortogonali e le proiezioni ortogonali su di essi non hanno senso. Quindi si dovrebbe piuttosto abbandonare questo intero punto di vista assi / proiezioni. Sarebbe strano chiamarlo ancora PCA (che riguarda le proiezioni con la varianza massima ecc.).

Dal punto di vista in stile FA, abbiamo semplicemente ruotato i nostri fattori latenti (standardizzati e non correlati), che è un'operazione valida. Non ci sono "proiezioni" in FA; invece, i fattori latenti generano le variabili osservate tramite caricamenti. Questa logica è ancora preservata. Tuttavia, abbiamo iniziato con i componenti principali, che in realtà non sono fattori (in quanto PCA non è lo stesso di FA). Quindi sarebbe strano chiamarlo anche FA.

Invece di discutere se uno "dovrebbe" piuttosto chiamarlo PCA o FA, suggerirei di essere meticoloso nello specificare l'esatta procedura utilizzata: "PCA seguito da una rotazione varimax".

---

Postscriptum. Si è possibile considerare una procedura rotazione alternativa, dove viene inserito tra e . Ciò ruoterebbe punteggi grezzi ed autovettori (anziché punteggi e caricamenti standardizzati). Il problema più grande con questo approccio è che dopo una tale "rotazione", i punteggi non saranno più non correlati, il che è abbastanza fatale per la PCA. Uno può farlo, ma non è come le rotazioni vengono generalmente comprese e applicate.$\mathbf{TT}^\top$$\mathbf{US}$$\mathbf V^\top$

Principal Components Analysis (PCA) e Common Factor Analysis (CFA) sono metodi distinti. Spesso producono risultati simili e PCA viene utilizzato come metodo di estrazione predefinito nelle routine di analisi del fattore SPSS. Ciò indubbiamente provoca molta confusione sulla distinzione tra i due.

La linea di fondo è, questi sono due diversi modelli, concettualmente. In PCA, i componenti sono effettive combinazioni lineari ortogonali che massimizzano la varianza totale. In FA, i fattori sono combinazioni lineari che massimizzano la parte condivisa della varianza - sottostanti "costrutti latenti". Ecco perché la FA viene spesso chiamata "analisi dei fattori comuni". FA utilizza una varietà di routine di ottimizzazione e il risultato, a differenza di PCA, dipende dalla routine di ottimizzazione utilizzata e dai punti di partenza per tali routine. Semplicemente non esiste un'unica soluzione unica.

In R, la funzione factanal () fornisce a CFA un'estrazione di massima verosimiglianza. Quindi, non dovresti aspettarti che riproduca un risultato SPSS basato su un'estrazione di PCA. Semplicemente non è lo stesso modello o logica. Non sono sicuro che otterresti lo stesso risultato se utilizzassi l'estrazione di Probabilità massima di SPSS in quanto potrebbero non utilizzare lo stesso algoritmo.

Nel bene o nel male in R, è possibile, tuttavia, riprodurre "l'analisi fattoriale" confusa fornita da SPSS come impostazione predefinita. Ecco il processo in R. Con questo codice, sono in grado di riprodurre il risultato "Analisi fattoriale" del componente principale SPSS usando questo set di dati. (Ad eccezione del segno, che è indeterminato). Tale risultato potrebbe anche essere ruotato utilizzando uno dei metodi di rotazione R disponibili.

# Load the base dataset attitude to work with.
data(attitude)
# Compute eigenvalues and eigen vectors of the correlation matrix.
pfa.eigen<-eigen(cor(attitude))
# Print and note that eigen values are those produced by SPSS.
# Also note that SPSS will extract 2 components as eigen values > 1 = 2
pfa.eigen$values
# set a value for the number of factors (for clarity)
factors<-2
# Extract and transform two components.
pfa.eigen$vectors [ , 1:factors ]  %*% 
+ diag ( sqrt (pfa.eigen$values [ 1:factors ] ),factors,factors )

Questa risposta è quella di presentare, in forma di diagramma di percorso, cose su cui @amoeba ha ragionato nella sua risposta profonda (ma leggermente complicata) su questo thread (sono una specie di accordo con il 95%) e come mi appaiono .

La PCA nella sua forma corretta e minima è la rotazione ortogonale specifica dei dati correlati alla sua forma non correlata, con i componenti principali che scorrono sequenzialmente sempre meno della variabilità complessiva. Se la riduzione della dimensionalità è tutto ciò che desideriamo, di solito non calcoliamo i caricamenti e qualsiasi cosa trascinino dopo di essi. Siamo soddisfatti dei (prime) principali punteggi delle componenti . [Nota che le annotazioni sul grafico non seguono esattamente quelle di @ amoeba, - mi attengo a ciò che adotto in alcune delle mie altre risposte.]$\bf P$

Sul grafico, prendo un semplice esempio di due variabili p=2e utilizzo entrambi i componenti principali estratti. Sebbene di solito conserviamo solo alcuni dei primi m<pcomponenti, per la domanda teorica che stiamo prendendo in considerazione ("Il PCA con rotazione è un PCA o cosa?") Non fa differenza se mantenerli mo tutti p; almeno nella mia risposta particolare.

Il trucco dei caricamenti è di estrarre la scala (magnitudine, variabilità, inerzia ) dai componenti (punteggi grezzi) e sui coefficienti (autovettori) lasciando il primo a essere nudo "quadro" (pr standardizzato punteggi dei componenti) e questi ultimi devono essere carnosi (caricamenti). I dati vengono ripristinati ugualmente bene con entrambi: . Ma i caricamenti aprono prospettive: (i) interpretare i componenti; (ii) essere ruotato; (iii) ripristinare correlazioni / covarianze delle variabili. Tutto ciò è dovuto al fatto che la variabilità dei dati è stata scritta nei caricamenti, come il loro carico.$\bf L$$\bf V$$\bf P_z$$\bf A$$\bf X=PV'=P_zA'$

E possono restituire quel carico ai punti dati in qualsiasi momento, ora o dopo la rotazione . Se concepiamo una rotazione ortogonale come varimax, ciò significa che vogliamo che i componenti rimangano non correlati dopo la rotazione effettuata. Solo i dati con matrice di covarianza sferica, se ruotati ortogonalmente, preservano la non correlazione. E voilà, i principali componenti standardizzati (che spesso nell'apprendimento automatico sono chiamati "dati sbiancati PCA") sono dati magici ( sono in realtà proporzionali a sinistra, cioè gli autovettori di riga dei dati). Mentre siamo alla ricerca della matrice di rotazione varimax$\bf P_z$$\bf P_z$$\bf Q$per facilitare l'interpretazione dei caricamenti che i punti dati attendono passivamente nella loro casta sfericità e identità (o "bianchezza").

Dopo che è stato trovato , la rotazione di da essa equivale al calcolo normale dei punteggi dei componenti principali standardizzati tramite l'inverso generalizzato della matrice di caricamento, - questa volta, dei carichi ruotati , (vedere la tabella ). I componenti principali risultanti ruotati in varimax, non sono correlati, come lo volevamo, inoltre i dati vengono ripristinati da loro esattamente come prima della rotazione: . Possiamo quindi dare loro indietro la loro scala depositato (e di conseguenza ruotato) in - a unstandardize loro: .$\bf Q$$\bf P_z$$\bf A_r$$\bf C_z$$\bf X=P_zA'=C_zA_r'$$\bf A_r$$\bf C$

Dobbiamo essere consapevoli del fatto che i "componenti principali ruotati in varimax" non sono più i componenti principali : ho usato la notazione Cz, C, anziché Pz, P, per sottolinearlo. Sono solo "componenti". I componenti principali sono unici, ma i componenti possono essere molti. Rotazioni diversi varimax produrranno altre nuove variabili chiamati anche componenti e anche non correlate, oltre i nostri quelli.$\bf C$

Inoltre, i componenti principali ruotati in varimax (o altrimenti ruotati ortogonalmente) (ora solo "componenti"), mentre rimangono non correlati, ortogonali, non implicano che i loro carichi siano ancora ortogonali. Le colonne di sono reciprocamente ortogonali (come lo erano gli autovettori ), ma non le colonne di (vedere anche la nota in calce qui ).$\bf A$$\bf V$$\bf A_r$

E infine: ruotare i componenti principali grezzi con la nostra non è un'azione utile. Otterremo alcune variabili correlate con significato problematico. sembrava ottimizzare (in qualche modo specifico) la configurazione dei carichi che avevano assorbito tutta la scala in essi . non è mai stato addestrato a ruotare i punti dati con tutta la scala rimasta su di essi. Il rotante con sarà equivalente agli autovettori rotanti con (in$\bf P$$\bf Q$$\bf "C"$$\bf Q$$\bf Q$$\bf P$$\bf Q$ $\bf V$$\bf Q$$\bf V_r$) e quindi calcolare i punteggi dei componenti grezzi come . Questi "percorsi" annotati da @amoeba nel loro Postscriptum.$\bf "C"=XV_r$

Queste ultime azioni delineate (inutili per la maggior parte) ci ricordano che gli autovettori, non solo i carichi, potrebbero essere ruotati, in generale. Ad esempio, la procedura varimax potrebbe essere applicata a loro per semplificarne la struttura. Ma poiché gli autovettori non sono così utili nell'interpretazione del significato dei componenti come lo sono i carichi, la rotazione degli autovettori è raramente eseguita.

Quindi, PCA con successiva varimax (o altra) rotazione è

• ancora PCA
• che sulla strada ha abbandonato i componenti principali solo per i componenti
• potenzialmente più interpretabili (rispetto ai PC) come "tratti latenti"
• ma non sono stati modellati satisticamente come quelli (la PCA non è un'analisi dei fattori equa)

Non ho fatto riferimento all'analisi fattoriale in questa risposta. Mi sembra che l'uso di @ amoeba della parola "spazio latente" sia un po 'rischioso nel contesto della domanda posta. Concordo, tuttavia, sul fatto che la rotazione analitica di PCA + potrebbe essere chiamata " visualizzazione in stile FA su PCA".

In psych::principal()si possono fare diversi tipi di rotazioni / trasformazioni al componente estratto Principal (s) o '' PC '' utilizzando rotate=l'argomento, come: "none", "varimax"(Default), "quatimax", "promax", "oblimin", "simplimax", e "cluster". Devi decidere empiricamente quale dovrebbe avere senso nel tuo caso, se necessario, a seconda della tua valutazione e conoscenza dell'argomento in esame. Una domanda chiave che potrebbe darti un suggerimento: quale è più interpretabile (di nuovo se necessario)?

Nella guida potresti trovare utile anche quanto segue:

È importante riconoscere che i componenti principali ruotati non sono componenti principali (gli assi associati alla decomposizione del valore di autigene) ma sono semplicemente componenti. A tale scopo, i componenti principali non ruotati sono etichettati come PCi, mentre i PC ruotati sono ora etichettati come RCi (per componenti ruotati) e componenti trasformati obliquamente come TCi (per componenti trasformati). (Grazie a Ulrike Gromping per questo suggerimento.)

La mia comprensione è che la distinzione tra PCA e analisi fattoriale è principalmente se esiste un termine di errore. Pertanto, l'APC può e fedelmente rappresentare i dati, mentre l'analisi dei fattori è meno fedele ai dati su cui è stata addestrata, ma tenta di rappresentare le tendenze o la comunanza sottostanti nei dati. Con un approccio standard il PCA non viene ruotato, ma è matematicamente possibile farlo, quindi le persone lo fanno di volta in volta. Sono d'accordo con i commentatori sul fatto che il "significato" di questi metodi è in qualche modo in palio e che probabilmente è saggio essere sicuri che la funzione che stai usando fa quello che intendi - per esempio, mentre noti che R ha alcune funzioni che eseguono un diverso tipo di PCA rispetto agli utenti di SPSS.

Grazie al caos nelle definizioni di entrambi sono effettivamente sinonimi. Non credere alle parole e guarda in profondità nei dock per trovare le equazioni.

Sebbene questa domanda abbia già una risposta accettata, vorrei aggiungere qualcosa al punto della domanda.

"PCA" - se ricordo bene - significa "analisi dei componenti principali"; quindi fintanto che stai analizzando i componenti principali, sia esso senza rotazione o con rotazione, siamo ancora nell'analisi dei "componenti principali" (che sono stati trovati dall'appropriata decomposizione matrice iniziale).

Formulerei che dopo la "varimax" -rotazione sui primi due componenti principali, che abbiamo la "soluzione varimax dei due primi pc" (o qualcos'altro), ma sono ancora nel quadro dell'analisi dei componenti principali, o più breve, sono nel quadro di "pca".

Per chiarire ulteriormente il mio punto di vista: non credo che la semplice domanda di rotazione introduca il problema della distinzione tra EFA e CFA (quest'ultimo menzionato / introdotto nel problema, ad esempio nella risposta di Brett)

Ho trovato questo il più utile: Abdi & Williams, 2010, Analisi dei componenti principali .

ROTAZIONE

Dopo che il numero di componenti è stato determinato e per facilitare l'interpretazione, l'analisi spesso comporta una rotazione dei componenti che sono stati mantenuti [vedere, ad esempio, Rif 40 e 67, per maggiori dettagli]. Vengono utilizzati due tipi principali di rotazione: ortogonale quando anche i nuovi assi sono ortogonali tra loro, e obliqua quando i nuovi assi non devono essere ortogonali. Poiché le rotazioni vengono sempre eseguite in un sottospazio, i nuovi assi spiegheranno sempre meno inerzia rispetto ai componenti originali (che sono calcolati per essere ottimali). Tuttavia, la parte dell'inerzia spiegata dal sottospazio totale dopo la rotazione è la stessa di prima della rotazione (è cambiata solo la partizione dell'inerzia). È anche importante notare che poiché la rotazione ha sempre luogo in un sottospazio (ad es. lo spazio dei componenti mantenuti), la scelta di questo sottospazio influenza fortemente il risultato della rotazione. Pertanto, si raccomanda vivamente di provare diverse dimensioni per il sottospazio dei componenti trattenuti al fine di valutare la robustezza dell'interpretazione della rotazione. Quando si esegue una rotazione, il termine caricamenti si riferisce quasi sempre agli elementi della matrice Q.

(vedi documento per la definizione di Q).