In che modo l'analisi fattoriale spiega la covarianza mentre la PCA spiega la varianza?

Ecco una citazione dal libro di "Pattern Recognition and Machine Learning" di Bishop, sezione 12.2.4 "Analisi dei fattori":

Secondo la parte evidenziata, l'analisi fattoriale cattura la covarianza tra variabili nella matrice $W$ . Mi chiedo come ?

Ecco come lo capisco. Supponiamo che $x$ sia la variabile $p$ dimensionale osservata , $W$ è la matrice di caricamento del fattore e $z$ è il vettore del punteggio del fattore. Quindi abbiamo

$$x=\mu+Wz+\epsilon,$$ ovvero $$\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} \begin{pmatrix} z_1\\ \vdots\\ z_m \end{pmatrix} +\epsilon, \end{align*}$$ e ogni colonna in$W$è un vettore di caricamento fattore $$w_i=\begin{pmatrix}w_{i1}\\ \vdots\\ w_{ip}\end{pmatrix}.$$ Qui come ho scritto,$W$ha$m$colonne che significa che ci sono$m$ fattori in esame.

Ora qui è il punto, secondo la parte evidenziata, credo che i carichi in ogni colonna $w_i$ spiegato la covarianza dei dati osservati, giusto?

Ad esempio, diamo un'occhiata al primo vettore di caricamento , per 1 ≤ i , j , $w_1$ , se w 1 i = 10 , w 1 j = 11 e w 1 k = 0.1 , allora direi x i e x j sono altamente correlati, mentre x k sembra non correlato con essi, vero?$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

E se è così che l'analisi dei fattori spiega la covarianza tra le caratteristiche osservate, allora direi che PCA spiega anche la covarianza, giusto?

La distinzione tra analisi dei componenti principali e analisi dei fattori è discussa in numerosi libri di testo e articoli sulle tecniche multivariate. È possibile trovare il thread completo e uno più recente , e risposte strane, anche su questo sito.

Non ho intenzione di renderlo dettagliato. Ho già dato una risposta concisa e a più lunga e vorrei ora chiarirla con un paio di foto.

Rappresentazione grafica

L'immagine seguente spiega PCA . (Questo è stato preso in prestito da qui in cui la PCA viene confrontata con la regressione lineare e le correlazioni canoniche. L'immagine è la rappresentazione vettoriale delle variabili nello spazio soggetto ; per capire di cosa si possa voler leggere lì il secondo paragrafo.)

La configurazione PCA su questa immagine è stata descritta lì . Ripeterò le cose principali. I componenti principali $P_1$ e $P_2$ trovano nello stesso spazio che è attraversato dalle variabili $X_1$ e $X_2$ , "piano X". La lunghezza quadrata di ciascuno dei quattro vettori è la sua varianza. La covarianza tra $X_1$ e $X_2$ è $cov_{12}= |X_1||X_2|r$ , dove $r$ è uguale al coseno dell'angolo tra i loro vettori.

Le proiezioni (coordinate) delle variabili sui componenti, il $a$ 's, sono i caricamenti dei componenti sulle variabili: i caricamenti sono i coefficienti di regressione nelle combinazioni lineari dellevariabilidi modellazioneper componenti standardizzati. "Standardizzato" - poiché le informazioni sulle varianze dei componenti sono già assorbite nei carichi (ricordare che i carichi sono autovettori normalizzati ai rispettivi autovalori). E a causa di ciò e del fatto che i componenti non sono correlati, i caricamentisono le covarianzetra le variabili e i componenti.

L'uso di PCA per finalità di dimensionalità / riduzione dei dati ci obbliga a conservare solo $P_1$ e a considerare $P_2$ come resto o errore. $a_{11}^2+a_{21}^2= |P_1|^2$ è la varianza catturata (spiegata) da$P_1$ .

---

L'immagine seguente mostra l' analisi fattoriale eseguita sulle stesse variabili $X_1$ e $X_2$ con cui abbiamo fatto PCA sopra. (Parlerò di un modello di fattore comune , perché ne esistono altri: modello di fattore alfa, modello di fattore immagine.) Il sole sorridente aiuta con l'illuminazione.

Il fattore comune è $F$ . È ciò che è analogo al componente principale $P_1$ sopra. Riesci a vedere la differenza tra questi due? Sì, chiaramente: il fattore non sta nello spazio delle variabili "piano X" .

Come ottenere quel fattore con un dito, cioè fare l'analisi dei fattori? Proviamo. Nell'immagine precedente, agganciare l'estremità della freccia $P_1$ con la punta del chiodo e allontanarsi dal "piano X", visualizzando contemporaneamente come appaiono due nuovi piani, "piano U1" e "piano U2"; questi collegano il vettore uncinato e i due vettori variabili. I due piani formano un cappuccio, X1 - F - X2, sopra il "piano X".

Continua a tirare mentre contempli il cofano e fermati quando "piano U1" e "piano U2" formano 90 gradi tra loro. Pronto, l'analisi dei fattori è fatta. Bene, sì, ma non ancora in modo ottimale. Per farlo bene, come fanno i pacchetti, ripeti l'intero esercizio di tirare la freccia, ora aggiungendo piccole oscillazioni da sinistra a destra del dito mentre tiri. In questo modo, trova la posizione della freccia quando la somma delle proiezioni quadrate di entrambe le variabili su di essa viene massimizzata , mentre raggiungi quell'angolo di 90 gradi. Fermare. Hai fatto l'analisi fattoriale, trovata la posizione del fattore comune $F$ .

Ancora una volta, a differenza del componente principale $P_1$ , il fattore $F$ non appartiene allo spazio "piano X" delle variabili. Pertanto non è una funzione delle variabili (il componente principale è, e puoi assicurarti dalle due immagini in alto qui che PCA è fondamentalmente bidirezionale: predice le variabili per componenti e viceversa). L'analisi fattoriale non è quindi un metodo di descrizione / semplificazione, come la PCA, è un metodo di modellizzazione in base al quale steeres con fattore latente osservano le variabili, unidirezionalmente.

I caricamenti $a$ 's del fattore sulle variabili sono come i caricamenti in PCA; sono le covarianze e sono i coefficienti di modellizzazione delle variabili per il fattore (standardizzato).$a_{1}^2+a_{2}^2= |F|^2$ è la varianza catturata (spiegata) da$F$ . Il fattore è stato trovato per massimizzare questa quantità - come se fosse un componente principale. Tuttavia, quella varianza spiegata non è più la varianza lorda delle variabili, ma è invece la loro varianza con cui essi variano (correlano). Perchè così?

Torna all'immagine. Abbiamo estratto $F$ base a due requisiti. Uno era la somma massimizzata appena menzionata dei carichi quadrati. L'altro era la creazione dei due piani perpendicolari, "piano U1" contenente $F$ e $X_1$ e "piano U2" contenente $F$ e $X_2$ . In questo modo ciascuna delle variabili X appariva scomposta. . Gli U sono chiamati fattori unici . Ogni variabile ha il suo fattore unico. Il significato è il seguente. U 1 dietro X 1 e U 2$X_1$ stato scomposto in variabili$F$ e$U_1$ , reciprocamente ortogonali; Allo stesso modo$X_2$ stato scomposto in variabili$F$ e$U_2$ , anch'esse ortogonali. E$U_1$ è ortogonale a$U_2$ . Sappiamo cos'è$F$ - ilfattore comune- il fattore comune - è la forza dietro sia X 1 che X 2$U$$U_1$$X_1$$U_2$ dietro $X_2$ sono le forze che impediscono a $X_1$ e $X_2$ di correlarsi. Ma $F$$X_1$$X_2$che li rende correlati. E la varianza spiegata risiede in quel fattore comune. Quindi, è pura varianza di collinearità. È quella varianza che rende $cov_{12}>0$ ; il valore effettivo di $cov_{12}$ è determinato dalle inclinazioni delle variabili verso il fattore, da$a$ 's.

La varianza di una variabile (la lunghezza del vettore al quadrato) consiste quindi di due parti disgiunte additive: unicità $u^2$ e comunanza $a^2$ . Con due variabili, come il nostro esempio, possiamo estrarre al massimo un fattore comune, quindi comunalità = singolo caricamento al quadrato. Con molte variabili potremmo estrarre diversi fattori comuni e la comunalità di una variabile sarà la somma dei suoi caricamenti quadrati. Nella nostra immagine, lo spazio dei fattori comuni è unidimensionale (giusto$F$ stessa); quandoesistonomfattori comuni, quello spazio èmtridimensionale, con le comunità che sono le proiezioni delle variabili sullo spazio e i carichi che sono variabili, così come le proiezioni di quelle proiezioni sui fattori che attraversano lo spazio. La varianza spiegata nell'analisi fattoriale è la varianza nello spazio di quei fattori comuni, diverso dallo spazio delle variabili in cui i componenti spiegano la varianza. Lo spazio delle variabili è nel ventre dello spazio combinato: m comune + p fattori unici.

Dai un'occhiata alla foto attuale, per favore. C'erano diverse variabili (diciamo, $X_1$ , $X_2$ , $X_3$ ) con cui è stata fatta l'analisi dei fattori, estraendo due fattori comuni. I fattori $F_1$ e $F_2$ abbracciano lo spazio dei fattori comune "piano dei fattori". Del gruppo di variabili analizzate solo una ( $X_1$ ) è mostrata nella figura. L'analisi lo ha decomposto in due parti ortogonali, la comunità $C_1$ e il fattore unico $U_1$ . La comunione sta nel "piano dei fattori" e le sue coordinate sui fattori sono i caricamenti con cui i fattori comuni caricano $X_1$ (= coordinate di $X_1$ stesso sui fattori). Nella foto, i comuni delle altre due variabili - proiezioni di $X_2$sono anche mostrate le 2 e di$X_3$ . Sarebbe interessante notare che i due fattori comuni possono, in un certo senso, essere visti come icomponenti principalidi tutte quelle"variabili"comuni. Mentre le componenti principali usuali riassumono per anzianità la varianza totale multivariata delle variabili, i fattori riassumono allo stesso modo la loro varianza comune multivariata.$^1$

Perché aveva bisogno di tutta quella verbosità? Volevo solo provare l'affermazione che quando decomponi ciascuna delle variabili correlate in due parti latenti ortogonali, una (A) che rappresenta la non correlazione (ortogonalità) tra le variabili e l'altra parte (B) che rappresenta la loro correlazione (collinearità), e estraete i fattori dalle sole B combinate, vi ritroverete a spiegare le covarianze a coppie, mediante i caricamenti di quei fattori. Nel nostro modello fattoriale, $cov_{12} \approx a_1a_2$ -ripristina ifattoricovarianze individuali mediante caricamenti. Nel modello PCA, non è così poiché PCA spiega la varianza nativa collineare + ortogonale mista non composta. Entrambi i componenti forti che conservate e quelli successivi che rilasciate sono fusioni di parti (A) e (B); quindi l'APC può attingere, con i suoi caricamenti, alle covarianze solo alla cieca e grossolanamente.

---

Elenco di contrasto PCA vs FA

• PCA: opera nello spazio delle variabili. FA: trancsends lo spazio delle variabili.
• PCA: prende la variabilità così com'è. FA: segmenta la variabilità in parti comuni e uniche.
• PCA: spiega la varianza non segmentata, ovvero la traccia della matrice di covarianza. FA: spiega solo la varianza comune, quindi spiega (ripristina per caricamenti) correlazioni / covarianze, elementi off-diagonali della matrice. (La PCA spiega anche elementi off-diagonali - ma in modo sfuggente e disinvolto - semplicemente perché le varianze sono condivise in una forma di covarianze.)
• PCA: i componenti sono funzioni teoricamente lineari delle variabili, le variabili sono funzioni teoricamente lineari dei componenti. FA: le variabili sono solo funzioni teoricamente lineari di fattori.
• PCA: metodo riepilogativo empirico; essa conserva m componenti. FA: teorico metodo di modellazione ; si adatta al numero fisso m fattori ai dati; FA può essere testato (FA di conferma).
• PCA: è l'MDS metrico più semplice , mira a ridurre la dimensionalità preservando il più indirettamente le distanze tra i punti dati il ​​più possibile. FA: I fattori sono tratti latenti essenziali dietro le variabili che li rendono correlati; l'analisi mira a ridurre i dati solo a quelle essenze.
• PCA: rotazione / interpretazione dei componenti - volte (il PCA non è abbastanza realistico come modello di tratti latenti). FA: rotazione / interpretazione dei fattori - di routine.
• PCA: solo metodo di riduzione dei dati. FA: anche un metodo per trovare cluster di variabili coerenti (questo perché le variabili non possono essere correlate oltre un fattore).
• PCA: caricamenti e punteggi sono indipendenti dal numero m di componenti "estratti". FA: caricamenti e punteggi dipendono dal numero m di fattori "estratti".
• PCA: i punteggi dei componenti sono valori esatti dei componenti. FA: i punteggi dei fattori sono approssimativi ai valori dei fattori reali ed esistono diversi metodi di calcolo . I punteggi dei fattori si trovano nello spazio delle variabili (come fanno i componenti) mentre i fattori reali (come incarnati dal caricamento dei fattori) no.
• PCA: di solito nessuna ipotesi. FA: assunzione di correlazioni parziali deboli; a volte ipotesi di normalità multivariata; alcuni set di dati potrebbero essere "errati" per l'analisi se non trasformati.
• PCA: algoritmo non ereditario; sempre successo. FA: algoritmo iterativo (in genere); a volte problema di non convergenza; la singolarità può essere un problema.

---

$^1$ $X_2$$X_3$$U_1$$X_1$$X_1$$X_2$$X_3$$U_1$$X_1$$X_2$$U$$U$

Analogamente come nella regressione, i coefficienti sono le coordinate, sui predittori, sia delle variabili dipendenti che delle previsioni ( vedere l'immagine in "Regressione multipla", e anche qui ), in FA caricamenti sono le coordinate, sui fattori, sia di le variabili osservate e delle loro parti latenti - le comunità. Ed esattamente come nella regressione che il fatto non ha fatto che i dipendenti e i predittori siano sottospazi l'uno dell'altro, - in FA il fatto simile non rende le variabili osservate e il i fattori latenti sono gli spazi reciproci: un fattore è "estraneo" a una variabile in un senso abbastanza simile in quanto un predittore è "estraneo" a una risposta dipendente, ma in PCA è un altro modo:i componenti principali sono derivati ​​dalle variabili osservate e sono confinati nel loro spazio.

Quindi, ancora una volta da ripetere: m i fattori comuni di FA non sono un sottospazio delle variabili di input p . Al contrario: le variabili formano un sottospazio nell'iperspazio dell'Unione m + p ( m fattori comuni + p fattori unici). Se visto da questa prospettiva (cioè anche con i fattori unici attratti), diventa chiaro che la FA classica non è una tecnica di riduzione della dimensionalità , come la classica PCA, ma una tecnica di espansione della dimensionalità . Tuttavia, prestiamo la nostra attenzione solo a una piccola parte ( comune di dimensioni m ) di quel gonfiamento, poiché questa parte spiega esclusivamente le correlazioni.

"Spiegare la covarianza" vs. spiegare la varianza

$$p(\mathbf x|\mathbf z) = \mathcal N(\mathbf x | \mathbf W \mathbf z + \boldsymbol \mu, \boldsymbol \Psi)$$ $\mathbf x$ $$\mathbf C = \mathbf W \mathbf W^\top + \boldsymbol \Psi.$$ $\boldsymbol \Sigma$$\mathbf C$ $$\boldsymbol \Sigma \approx \mathbf W \mathbf W^\top + \boldsymbol \Psi.$$ $\mathbf C$$\boldsymbol \Sigma$$\boldsymbol \Psi$$\mathbf W$$\boldsymbol \Sigma$

$\boldsymbol \Sigma$$\boldsymbol \Sigma$

$\widetilde {\mathbf W}$$\boldsymbol \Sigma$$m<k$

$$\boldsymbol \Sigma \approx \widetilde{\mathbf W} \widetilde{\mathbf W}^\top,$$ il che significa che i caricamenti di PCA provano a riprodurre l'intera matrice di covarianza (e non solo la sua parte off-diagonale come FA). Questa è la differenza principale tra PCA e FA.

---

Ulteriori commenti

$2 \times 2$ , ha solo un elemento off-diagonale e quindi un fattore è sempre sufficiente per riprodurlo al 100% (mentre il PCA avrebbe bisogno di due componenti). Tuttavia, in generale, se ci sono molte variabili (diciamo, una dozzina o più), né PCA né FA con un piccolo numero di componenti saranno in grado di riprodurre completamente la matrice di covarianza; inoltre, di solito (anche se non necessariamente!) producono risultati simili. Vedi la mia risposta qui per alcune simulazioni a supporto di questa affermazione e per ulteriori spiegazioni:

• C'è qualche buona ragione per usare PCA invece di EFA? Inoltre, PCA può essere un sostituto dell'analisi fattoriale?

Quindi, anche se i disegni di @ttnphns possono dare l'impressione che PCA e FA siano molto diversi, la mia opinione è che non è così, tranne che con pochissime variabili o in alcune altre situazioni speciali.

Guarda anche:

• In quali condizioni PCA e FA producono risultati simili?
• $k$

Finalmente:

$w_1$$1\le i,j,k\le p$$w_{1i}=10$$w_{1j}=11$$w_{1k}=0.1$$x_i$$x_j$$x_k$

$x_i$$x_j$$w_2$$x_i$$x_k$