Qual è la ragione intuitiva alla base delle rotazioni in Factor Analysis / PCA e come selezionare la rotazione appropriata?

Le mie domande

1. Qual è la ragione intuitiva alla base delle rotazioni dei fattori nell'analisi fattoriale (o dei componenti in PCA)?

   La mia comprensione è che se le variabili sono quasi ugualmente caricate nei componenti (o fattori) principali, ovviamente è difficile differenziare i componenti. Quindi in questo caso si potrebbe usare la rotazione per ottenere una migliore differenziazione dei componenti. È corretto?

2. Quali sono le conseguenze di fare rotazioni? Quali cose influiscono?

3. Come selezionare la rotazione appropriata? Ci sono rotazioni ortogonali e rotazioni oblique. Come scegliere tra questi e quali sono le implicazioni di questa scelta?

Spiega in modo intuitivo con meno equazioni matematiche. Poche delle risposte diffuse erano pesanti in matematica ma sto cercando di più per ragioni intuitive e regole empiriche.

1. Motivo della rotazione . Le rotazioni vengono eseguite per motivi di interpretazione dei fattori estratti nell'analisi fattoriale (o componenti in PCA, se vi avventurate nell'usare la PCA come tecnica analitica dei fattori). Hai ragione quando descrivi la tua comprensione. La rotazione viene eseguita nel perseguimento di una struttura della matrice di caricamento, che può essere definita struttura semplice . È quando diversi fattori tendono a caricare diverse variabili 1$^1$. [Credo che sia più corretto affermare che "un fattore carica una variabile" rispetto a "una variabile carica un fattore", perché è il fattore che è "in" o "dietro" le variabili per renderle correlate, ma potresti dire come piace a te.] In un certo senso, la tipica struttura semplice è dove si presentano "gruppi" di variabili correlate. Quindi si interpreta un fattore come il significato che si trova sull'intersezione del significato delle variabili che sono caricate abbastanza dal fattore; quindi, per ricevere significati diversi, i fattori dovrebbero caricare le variabili in modo differenziale. Una regola empirica è che un fattore dovrebbe caricare decentemente almeno 3 variabili.

2. Conseguenze . La rotazione non cambia la posizione delle variabili l'una rispetto all'altra nello spazio dei fattori, vale a dire che le correlazioni tra le variabili vengono preservate. Ciò che viene modificato sono le coordinate dei punti finali dei vettori variabili sugli assi dei fattori: i caricamenti (per ulteriori informazioni, cercare nel sito "diagramma di caricamento" e "biplot") 2 . Dopo una rotazione ortogonale della matrice di caricamento, le variazioni dei fattori vengono modificate, ma i fattori rimangono non correlati e le comunità variabili vengono preservate.$^2$

   In una rotazione obliqua, i fattori possono perdere la loro non correlazione se ciò produce una "struttura semplice" più chiara. Tuttavia, l'interpretazione di fattori correlati è un'arte più difficile perché devi derivare il significato da un fattore in modo che non contamini il significato di un altro con cui è correlato. Ciò implica che devi interpretare i fattori, diciamo, in parallelo, e non uno per uno. La rotazione obliqua ti lascia con due matrici di caricamenti anziché una: matrice $\bf P$ modello e matrice $\bf S$ struttura . ( $\bf S=PC$ , dove $\bf C$ è la matrice delle correlazioni tra i fattori; $\bf C=Q'Q$, dove $\bf Q$ è la matrice della rotazione obliqua: $\bf S=AQ$ , dove $\bf A$ era la matrice di caricamento prima di qualsiasi rotazione.) La matrice del modello è la matrice dei pesi regressivi con cui i fattori predicono le variabili, mentre la matrice della struttura è le correlazioni (o covarianze) tra fattori e variabili. Il più delle volte interpretiamo i fattori in base ai caricamenti dei modelli perché questi coefficienti rappresentano l'investimento individuale unico del fattore in una variabile. La rotazione obliqua preserva le comunità variabili, ma le comunità non sono più uguali alle somme di riga dei quadrati in $\bf P$ o in $\bf S$. Inoltre, poiché i fattori sono correlati, le loro varianze si sovrappongono in parte 3 .$^3$

   $^4$

3. Scelta . Esistono molte forme di rotazioni ortogonali e oblique. Perché? Primo, perché il concetto di "struttura semplice" non è univoco e può essere formulato in modo leggermente diverso. Ad esempio, varimax - il metodo ortogonale più popolare - cerca di massimizzare la varianza tra i valori al quadrato dei carichi di ciascun fattore; il metodo ortogonale a volte utilizzato quartimax riduce al minimo il numero di fattori necessari per spiegare una variabile e spesso produce il cosiddetto "fattore generale". In secondo luogo, diverse rotazioni mirano a diversi obiettivi collaterali oltre alla semplice struttura. Non entrerò nei dettagli di questi argomenti complessi, ma potresti volerne leggere di persona.

   $^5$(anche se ognuno ha le proprie inclinazioni) consente, ma non forzare, i fattori di correlazione e sono quindi meno restrittivi. Se la rotazione obliqua mostra che i fattori sono solo debolmente correlati, potresti essere sicuro che "in realtà" è così, e quindi puoi passare alla rotazione ortogonale con buona coscienza. Se i fattori, d'altra parte, sono molto correlati, sembra innaturale (per tratti latenti concettualmente distinti, specialmente se si sta sviluppando un inventario in psicologia o simili, - si ricordi che un fattore è esso stesso un tratto univariato, non un lotto di fenomeni) e potresti voler estrarre meno fattori o, in alternativa, utilizzare i risultati obliqui come fonte batch per estrarre i cosiddetti fattori del secondo ordine.

$^1$

Questo è per la FA puramente esplorativa, mentre se stai facendo e ripetendo la FA per sviluppare un questionario, alla fine vorrai eliminare tutti i punti tranne quelli blu, a condizione che tu abbia solo due fattori. Se sono presenti più di due fattori, si desidera che i punti rossi diventino blu per alcuni dei grafici di caricamento degli altri fattori.

$^2$

$^3$$\bf S$$\bf S$$\bf A$$1-R_i^2$$\bf C^{-1}$

$^4$

$^5$(di solito) o senza di essa. La normalizzazione rende tutte le variabili ugualmente importanti alla rotazione.

Alcuni thread per ulteriori letture:

Può esserci motivo per non ruotare affatto i fattori?

Quale matrice interpretare dopo la rotazione obliqua - modello o struttura?

Cosa significano i nomi delle tecniche di rotazione dei fattori (varimax, ecc.)?

PCA con componenti ruotati è ancora PCA o è un'analisi fattoriale?