Analisi PCA e corrispondenza nella loro relazione con il biplot

Il biplot viene spesso utilizzato per visualizzare i risultati dell'analisi dei componenti principali (e delle relative tecniche). È un grafico a dispersione doppio o overlay che mostra i caricamenti e i punteggi dei componenti contemporaneamente. Oggi sono stato informato da @amoeba che ha dato una risposta partendo dal mio commento a una domanda che mi chiede come vengono prodotte / ridimensionate le coordinate del biplot; e la sua risposta prende in considerazione diversi modi in alcuni dettagli. E @amoeba mi ha chiesto di condividere la mia esperienza con il biplot.

La mia esperienza (sia teorica che sperimentale), sebbene molto modesta, senza problemi evidenzia due cose che non sono così frequentemente riconosciute: (1) il biplot dovrebbe essere classificato come tecnica analitica piuttosto che diagramma di dispersione sussidiario; (2) L'APC, l'analisi della corrispondenza (e alcune altre tecniche ben note) sono in realtà casi particolari del biplot. O, almeno, entrambi sono quasi gemelli del biplot. Se riesci a fare il biplot puoi fare gli altri due.

La mia domanda per te è: come sono collegati (PCA, CA, Biplot) ? Per favore, condividi i tuoi pensieri. Nel frattempo sto pubblicando il mio account al riguardo. Vorrei chiedere di aggiungere più risposte e di formulare osservazioni critiche.

SVD

La decomposizione di valore singolare è alla radice delle tre tecniche affini. Sia $\bf X$ una tabella $r \times c$ di valori reali. SVD è $\bf X = U_{r\times r}S_{r\times c}V_{c\times c}'$ . Possiamo usare solo $m$ $[m \le\min(r,c)]$ primi vettori e radici latenti per ottenere $\bf X_{(m)}$ come migliore approssimazione di $m$ -rank di $\bf X$ : $\bf X_{(m)} = U_{r\times m}S_{m\times m}V_{c\times m}'$ . Inoltre, noteremo$\bf U=U_{r\times m}$ ,$\bf V=V_{c\times m}$ ,$\bf S=S_{m\times m}$ .

I valori singolari $\bf S$ e i loro quadrati, gli autovalori, rappresentano la scala , anche chiamata inerzia , dei dati. Gli autovettori di sinistra $\bf U$ sono le coordinate delle righe dei dati sugli assi principali $m$ ; mentre gli autovettori di destra $\bf V$ sono le coordinate delle colonne dei dati su quegli stessi assi latenti. L'intera scala (inerzia) è memorizzata in $\bf S$ e quindi le coordinate $\bf U$ e $\bf V$ sono unità normalizzate (colonna SS = 1).

Analisi dei componenti principali mediante SVD

In PCA, si concorda di considerare le file di $\bf X$ come osservazioni casuali (che possono venire o andare), ma di considerare le colonne di $\bf X$ come numero fisso di dimensioni o variabili. Quindi è opportuno e conveniente rimuovere l'effetto del numero di righe (e solo righe) sui risultati, in particolare sugli autovalori, mediante decomposizione svd di $\mathbf Z=\mathbf X/\sqrt{r}$ al posto di$\bf X$. Si noti che questo corrisponde a Eigen-decomposizione di$\mathbf {X'X}/r$,$r$essendo la dimensione del campionen. (Spesso, soprattutto con le covarianze - per renderle imparziali - preferiremo dividere per$r-1$, ma è una sfumatura.)

La moltiplicazione di $\bf X$ per una costante ha interessato solo $\bf S$ ; $\bf U$ e $\bf V$ rimangono le coordinate normalizzate unitarie di righe e colonne.

Da qui e ovunque sotto ridefiniamo $\bf S$ , $\bf U$ e $\bf V$ come indicato da svd di $\bf Z$ , non di $\bf X$ ; $\bf Z$ è una versione normalizzata di $\bf X$ e la normalizzazione varia tra i tipi di analisi.

Moltiplicando $\mathbf U\sqrt{r}=\bf U_*$portiamo ilquadratomedionelle colonne di$\bf U$a 1. Dato che le righe sono casi casuali per noi, è logico. Abbiamo così ottenuto ciò che viene chiamato nellostandardPCAopunteggi standardizzatidelle osservazioni deicomponenti principali,$\bf U_*$. Non facciamo la stessa cosa con$\bf V$perché le variabili sono entità fisse.

Poi possiamo conferire righe con tutta l'inerzia, per ottenere le coordinate di riga non standardizzati, chiamati anche in PCA prime principali punteggi delle componenti di osservazioni: $\bf U_*S$ . Questa formula chiameremo "modo diretto". Lo stesso risultato viene restituito da $\bf XV$ ; lo etichettiamo come "modo indiretto".

Analogamente, possiamo conferire colonne con tutta l'inerzia, per ottenere coordinate di colonna non standardizzate, chiamate anche in PCA i carichi variabili dei componenti : $\bf VS'$ [può ignorare la trasposizione se $\bf S$ è quadrata], - la "via diretta". Lo stesso risultato viene restituito da $\bf Z'U$ , la "via indiretta". (I punteggi delle componenti principali sopra standardizzati possono anche essere calcolate dai carichi come $\bf X(AS^{-1/2})$ , dove $\bf A$ . Sono i carichi)

biplot

Considera il biplot nel senso di un'analisi di riduzione della dimensionalità da solo, non semplicemente come "un doppio diagramma a dispersione". Questa analisi è molto simile alla PCA. A differenza della PCA, sia le righe che le colonne sono trattate, simmetricamente, come osservazioni casuali, il che significa che $\bf X$ viene visto come una tabella a due vie casuale di varia dimensionalità. Poi, naturalmente, normalizzare entro sia $r$ e $c$ prima SVD: $\mathbf Z=\mathbf X/\sqrt{rc}$ .

Dopo svd, calcola le coordinate di riga standard come abbiamo fatto in PCA: $\mathbf U_*=\mathbf U\sqrt{r}$ . Fai la stessa cosa (a differenza di PCA) con i vettori di colonna, per ottenerecoordinate di colonna standard:$\mathbf V_*=\mathbf V\sqrt{c}$ . Le coordinate standard, sia delle righe che delle colonne, hannounquadratomedio1.

Possiamo conferire coordinate di righe e / o colonne con inerzia di autovalori come in PCA. Coordinate di riga non standardizzate : $\bf U_*S$ (modo diretto). Coordinate di colonna non standardizzate : $\bf V_*S'$ (via diretta). E il modo indiretto? Si può facilmente dedurre dalle sostituzioni che la formula indiretta per le coordinate di riga non standardizzate è $\mathbf {XV_*}/c$ , e per le coordinate di colonna non standardizzate è $\mathbf {X'U_*}/r$ .

PCA come caso particolare del biplot . Dalle descrizioni di cui sopra hai probabilmente appreso che PCA e biplot differiscono solo nel modo in cui normalizzano $\bf X$ in $\bf Z$ che viene quindi decomposto. Il biplot si normalizza sia per il numero di righe che per il numero di colonne; PCA si normalizza solo per il numero di righe. Di conseguenza, c'è una piccola differenza tra i due nei calcoli post-svd. Se facendo biplot imposti $c=1$ nelle sue formule otterrai esattamente i risultati PCA. Pertanto, il biplot può essere visto come un metodo generico e PCA come un caso particolare di biplot.

[ Centratura della colonna . Alcuni utenti potrebbero dire: Stop, ma PCA non richiede anche e prima di tutto il centraggio delle colonne di dati (variabili) per spiegare la varianza ? Mentre il biplot non può fare il centraggio? La mia risposta: solo la PCA in senso stretto fa il centraggio e spiega la varianza; Sto discutendo PCA lineare in senso generale, PCA che spiega una sorta di somma di deviazioni quadrate rispetto all'origine scelta; potresti scegliere che sia la media dei dati, lo 0 nativo o qualunque cosa ti piaccia. Pertanto, l'operazione di "centraggio" non è ciò che potrebbe distinguere PCA dal biplot.]

Righe e colonne passive

Nel biplot o PCA, è possibile impostare alcune righe e / o colonne su passive o supplementari. La riga o colonna passiva non influenza SVD e quindi non influenza l'inerzia o le coordinate di altre righe / colonne, ma riceve le sue coordinate nello spazio degli assi principali prodotti dalle righe / colonne attive (non passive).

Impostare alcuni punti (righe / colonne) per essere passivo, (1) definiscono $r$ e $c$ tramite il numero di attivi righe e colonne solo. (2) Impostato su zero righe e colonne passive in $\bf Z$ prima di svd. (3) Utilizzare i modi "indiretti" per calcolare le coordinate di righe / colonne passive, poiché i loro valori di autovettore saranno zero.

In PCA, quando si calcolano i punteggi dei componenti per nuovi casi in arrivo con l'aiuto di caricamenti ottenuti su vecchie osservazioni ( utilizzando la matrice del coefficiente di punteggio ), si fa effettivamente la stessa cosa di prendere questi nuovi casi in PCA e mantenerli passivi. Allo stesso modo, calcolare correlazioni / covarianze di alcune variabili esterne con i punteggi dei componenti prodotti da un PCA equivale a prendere quelle variabili in quel PCA e a mantenerle passive.

Diffusione arbitraria dell'inerzia

I quadrati medi colonna (MS) delle coordinate standard sono 1. I quadrati medi colonna (MS) delle coordinate non standardizzate sono uguali all'inerzia dei rispettivi assi principali: tutta l'inerzia degli autovalori è stata donata agli autovettori per produrre le coordinate non standardizzate.

Nel biplot : le coordinate standard di riga $\bf U_*$ hanno MS = 1 per ciascun asse principale. Fila coordinate non standardizzati, chiamato anche fila principali coordinate $\mathbf {U_*S} = \mathbf {XV_*}/c$ avere MS = autovalore corrispondente $\bf Z$ . Lo stesso vale per le coordinate di colonna standard e non standardizzate (principali).

Generalmente, non è necessario che si diano coordinate con inerzia, per intero o in nessuna. La diffusione arbitraria è consentita, se necessario per qualche motivo. Sia $p_1$ la proporzione di inerzia che deve andare alle file. Quindi la formula generale delle coordinate di riga è: $\bf U_*S^{p1}$ (via diretta) = $\mathbf {XV_*S^{p1-1}}/c$ (via indiretta). Se $p_1=0$ otteniamo le coordinate di riga standard, mentre con $p_1=1$ otteniamo le coordinate di riga principali.

Allo stesso modo $p_2$ è la proporzione di inerzia che deve andare alle colonne. Quindi la formula generale delle coordinate di colonna è: $\bf V_*S^{p2}$ (modo diretto) = $\mathbf {X'U_*S^{p2-1}}/r$ (modo indiretto). Se $p_2=0$ otteniamo le coordinate di colonna standard, mentre con $p_2=1$ otteniamo le coordinate di colonna principali.

Le formule indirette generali sono universali in quanto consentono di calcolare le coordinate (standard, principale o intermedio) anche per i punti passivi, se presenti.

Se $p_1+p_2=1$ dicono che l'inerzia è distribuita tra i punti di riga e colonna. I bipoti $p_1=1,p_2=0$ , ovvero standard della colonna principale della colonna, sono talvolta chiamati biplot "forma biplot" o "conservazione metrica riga". I bipoti $p_1=0,p_2=1$ , ovvero standard di colonna standard di colonna, sono spesso chiamati nella letteratura PCA "biplot di covarianza" o "biplot di conservazione metrica di colonna"; visualizzano caricamenti variabili ( che sono giustapposto alle covarianze) più i punteggi dei componenti standardizzati, se applicati all'interno del PCA.

In analisi delle corrispondenze , $p_1=p_2=1/2$ è spesso usato e si chiama "simmetrico" o normalizzazione "canonica" di inerzia - permette (anche se in alcuni expence di severità geometrica euclidea) confronta prossimità tra righe e punti di colonna, come possiamo fare sulla mappa dispiegata multidimensionale.

Analisi delle corrispondenze (modello euclideo)

L'analisi della corrispondenza a due vie (= semplice) (CA) è un biplot utilizzato per analizzare una tabella di contingenza a due vie, ovvero una tabella non negativa le cui voci hanno il significato di una sorta di affinità tra una riga e una colonna. Quando la tabella è frequenze, viene utilizzata l'analisi della corrispondenza del modello chi-quadrato. Quando le voci sono, diciamo, medie o altri punteggi, viene utilizzato un modello CA euclideo più semplice.

Il modello euclideo CA è solo il biplot sopra descritto, solo che la tabella $\bf X$ viene preelaborata ulteriormente prima di entrare nelle operazioni biplot. In particolare, i valori vengono normalizzati non solo da $r$ e $c$ ma anche dalla somma totale $N$ .

La preelaborazione consiste nel centrare, quindi normalizzare dalla massa media. La centratura può essere varia, molto spesso: (1) centratura di colonne; (2) centratura delle file; (3) centratura a due vie che è la stessa operazione del calcolo dei residui di frequenza; (4) centratura delle colonne dopo aver pareggiato le somme delle colonne; (5) centratura delle righe dopo aver pareggiato le somme delle righe. La normalizzazione per la massa media si divide per il valore medio della cella della tabella iniziale. Nella fase di preelaborazione, le righe / colonne passive, se presenti, sono standardizzate passivamente: sono centrate / normalizzate dai valori calcolati da righe / colonne attive.

Quindi il solito biplot viene eseguito sulla $\bf X$ preelaborata , a partire da $\mathbf Z=\mathbf X/\sqrt{rc}$ .

Biplot ponderato

Immagina che l'attività o l'importanza di una riga o di una colonna possa essere qualsiasi numero compreso tra 0 e 1 e non solo 0 (passivo) o 1 (attivo) come nel biplot classico discusso finora. Potremmo ponderare i dati di input in base a questi pesi di riga e colonna ed eseguire biplot ponderato. Con il biplot ponderato, maggiore è il peso, più influente è quella riga o quella colonna rispetto a tutti i risultati: l'inerzia e le coordinate di tutti i punti sugli assi principali.

L'utente fornisce pesi di riga e pesi di colonna. Questi e quelli vengono prima normalizzati separatamente per sommare a 1. Quindi il passaggio di normalizzazione è $\mathbf{Z_{ij} = X_{ij}}\sqrt{w_i w_j}$ , con$w_i$e$w_j$essendo i pesi per riga ie colonna j. Il peso esattamente zero indica che la riga o la colonna sono passive.

A quel punto potremmo scoprire che il biplot classico è semplicemente questo biplot ponderato con pesi uguali $1/r$ per tutte le righe attive e pesi uguali $1/c$ per tutte le colonne attive; $r$ e $c$ il numero di righe e colonne attive.

Eseguire svd di $\bf Z$ . Tutte le operazioni sono le stesse in biplot classico, l'unica differenza che $w_i$ è in luogo di $1/r$ e $w_j$ è in luogo di $1/c$ . Coordinate di riga standard: $\mathbf {U_{*i}=U_i}/\sqrt{w_i}$ coordinate della colonna standard:$\mathbf {V_{*j}=V_j}/\sqrt{w_j}$ . (Questi sono per righe / colonne con peso diverso da zero. Lasciare i valori come 0 per quelli con peso zero e utilizzare le formule indirette di seguito per ottenere le coordinate standard o qualunque per loro.)

Dare inerzia alle coordinate nella proporzione desiderata (con $p_1=1$ e $p_2=1$ le coordinate saranno completamente non standardizzate, o principale; con $p_1=0$ e $p_2=0$ rimarranno standard). Righe: $\bf U_*S^{p1}$ (modo diretto) = $\bf X[Wj]V_*S^{p1-1}$ (modo indiretto). Colonne: $\bf V_*S^{p2}$(modo diretto) = $\bf ([Wi]X)'U_*S^{p2-1}$ (modo indiretto). Le matrici tra parentesi qui sono le matrici diagonali della colonna e i pesi delle file, rispettivamente. Per i punti passivi (cioè con zero pesi) è adatto solo il modo indiretto di calcolo. Per punti attivi (pesi positivi) puoi andare in entrambi i modi.

PCA come caso particolare di Biplot rivisitato . Quando ho considerato il biplot non ponderato in precedenza, ho detto che PCA e biplot sono equivalenti, l'unica differenza è che il biplot vede le colonne (variabili) dei dati come casi casuali simmetricamente alle osservazioni (righe). Avendo ora esteso il biplot a un biplot più generale ponderato, possiamo ancora una volta rivendicarlo, osservando che l'unica differenza è che il biplot (ponderato) normalizza la somma dei pesi di colonna dei dati di input su 1 e (ponderato) PCA - al numero di ( attivo) colonne. Quindi ecco la PCA ponderata introdotta. I suoi risultati sono proporzionalmente identici a quelli del biplot ponderato. In particolare, se $c$ è il numero di colonne attive, quindi sono vere le seguenti relazioni, per le versioni ponderate e classiche delle due analisi:

• autovalori di PCA = autovalori di biplot $\cdot c$ ;
• loadings = coordinate della colonna in "normalizzazione principale" delle colonne;
• punteggi dei componenti standardizzati = coordinate delle righe in "normalizzazione standard" delle righe;
• autovettori di PCA = coordinate di colonna in "normalizzazione standard" di colonne $/ \sqrt c$ ;
• punteggi dei componenti grezzi = coordinate delle righe in "normalizzazione principale" delle righe $\cdot \sqrt c$ .

Analisi della corrispondenza (modello Chi-quadrato)

Questo è tecnicamente un biplot ponderato in cui i pesi vengono calcolati da una tabella stessa anziché forniti dall'utente. Viene utilizzato principalmente per analizzare tabelle incrociate di frequenza. Questo biplot approssimerà, per distanze euclidee sulla trama, le distanze chi-quadro nella tabella. La distanza del chi-quadrato è matematicamente la distanza euclidea ponderata inversamente dai totali marginali. Non andrò oltre nei dettagli della geometria CA del modello Chi-quadrato.

$\bf X$$w_i=R_i/N$$w_j=C_j/N$$R_i$$C_j$$N$

$\bf X$$\bf Z$$R_i$$C_j$$\bf Z$

$\min(r-1,c-1)$

Vedi anche una bella panoramica del modello CA chi-quadrato in questa risposta .

Illustrazioni

Ecco una tabella di dati.

 row     A     B     C     D     E     F
   1     6     8     6     2     9     9
   2     0     3     8     5     1     3
   3     2     3     9     2     4     7
   4     2     4     2     2     7     7
   5     6     9     9     3     9     6
   6     6     4     7     5     5     8
   7     7     9     6     6     4     8
   8     4     4     8     5     3     7
   9     4     6     7     3     3     7
  10     1     5     4     5     3     6
  11     1     5     6     4     8     3
  12     0     6     7     5     3     1
  13     6     9     6     3     5     4
  14     1     6     4     7     8     4
  15     1     1     5     2     4     3
  16     8     9     7     5     5     9
  17     2     7     1     3     4     4
  28     5     3     3     9     6     4
  19     6     7     6     2     9     6
  20    10     7     4     4     8     7

Seguono diversi grafici a dispersione doppi (in 2 prime dimensioni principali) basati sull'analisi di questi valori. I punti della colonna sono collegati all'origine da punte per enfasi visiva. Non c'erano righe o colonne passive in queste analisi.

Il primo biplot è rappresentato dai risultati SVD della tabella dei dati analizzati "così come sono"; le coordinate sono gli autovettori di riga e colonna.

Di seguito è riportato uno dei possibili biplot provenienti da PCA . Il PCA è stato eseguito sui dati "così come sono", senza centrare le colonne; tuttavia, come viene adottato in PCA, inizialmente è stata eseguita la normalizzazione in base al numero di righe (il numero di casi). Questo biplot specifico mostra le coordinate della riga principale (ovvero i punteggi dei componenti grezzi) e le coordinate della colonna principale (ovvero i carichi variabili).

Il prossimo è biplot sensu stricto : la tabella inizialmente era normalizzata sia dal numero di righe che dal numero di colonne. La normalizzazione principale (diffusione dell'inerzia) è stata utilizzata per entrambe le coordinate di riga e colonna, come nel caso del precedente PCA. Nota la somiglianza con il biplot PCA: l'unica differenza è dovuta alla differenza nella normalizzazione iniziale.

Biplot per l' analisi della corrispondenza del modello chi-quadrato . La tabella dei dati è stata preelaborata in modo speciale, includendo la centratura bidirezionale e una normalizzazione utilizzando i totali marginali. È un biplot ponderato. L'inerzia è stata distribuita sulla riga e le coordinate della colonna simmetricamente - entrambe sono a metà strada tra coordinate "principali" e "standard".

Le coordinate visualizzate su tutti questi grafici a dispersione:

point      dim1_1   dim2_1   dim1_2   dim2_2   dim1_3   dim2_3   dim1_4   dim2_4
1            .290     .247   16.871    3.048    6.887    1.244    -.479    -.101
2            .141    -.509    8.222   -6.284    3.356   -2.565    1.460    -.413
3            .198    -.282   11.504   -3.486    4.696   -1.423     .414    -.820
4            .175     .178   10.156    2.202    4.146     .899    -.421     .339
5            .303     .045   17.610     .550    7.189     .224    -.171    -.090
6            .245    -.054   14.226    -.665    5.808    -.272    -.061    -.319
7            .280     .051   16.306     .631    6.657     .258    -.180    -.112
8            .218    -.248   12.688   -3.065    5.180   -1.251     .322    -.480
9            .216    -.105   12.557   -1.300    5.126    -.531     .036    -.533
10           .171    -.157    9.921   -1.934    4.050    -.789     .433     .187
11           .194    -.137   11.282   -1.689    4.606    -.690     .384     .535
12           .157    -.384    9.117   -4.746    3.722   -1.938    1.121     .304
13           .235     .099   13.676    1.219    5.583     .498    -.295    -.072
14           .210    -.105   12.228   -1.295    4.992    -.529     .399     .962
15           .115    -.163    6.677   -2.013    2.726    -.822     .517    -.227
16           .304     .103   17.656    1.269    7.208     .518    -.289    -.257
17           .151     .147    8.771    1.814    3.581     .741    -.316     .670
18           .198    -.026   11.509    -.324    4.699    -.132     .137     .776
19           .259     .213   15.058    2.631    6.147    1.074    -.459     .005
20           .278     .414   16.159    5.112    6.597    2.087    -.753     .040
A            .337     .534    4.387    1.475    4.387    1.475    -.865    -.289
B            .461     .156    5.998     .430    5.998     .430    -.127     .186
C            .441    -.666    5.741   -1.840    5.741   -1.840     .635    -.563
D            .306    -.394    3.976   -1.087    3.976   -1.087     .656     .571
E            .427     .289    5.556     .797    5.556     .797    -.230     .518
F            .451     .087    5.860     .240    5.860     .240    -.176    -.325