Comprensione geometrica della PCA nello spazio soggetto (doppio)

Sto cercando di ottenere una comprensione intuitiva di come funziona l'analisi dei componenti principali (PCA) nello spazio soggetto (doppio) .

Considerare un set di dati 2D con due variabili, $x_1$ e e punti dati (la matrice di dati è e si presume che sia centrata). La normale presentazione di PCA è che consideriamo punti in , annotiamo la matrice di covarianza e troviamo i suoi autovettori e autovalori; il primo PC corrisponde alla direzione della massima varianza, ecc. Ecco un esempio con matrice di covarianza . Le linee rosse mostrano gli autovettori ridimensionati dalle radici quadrate dei rispettivi autovalori. $x_2$ $n$ $\mathbf X$ $n\times 2$ $n$ $\mathbb R^2$ $2\times 2$ $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$

$\hskip 1in$

Ora considera cosa succede nello spazio soggetto (ho imparato questo termine da @ttnphns), noto anche come doppio spazio (il termine usato nell'apprendimento automatico). Questo è uno spazio dimensionale in cui i campioni delle nostre due variabili (due colonne di ) formano due vettori e . La lunghezza quadrata di ciascun vettore variabile è uguale alla sua varianza, il coseno dell'angolo tra i due vettori è uguale alla correlazione tra di essi. Questa rappresentazione, tra l'altro, è molto standard nei trattamenti di regressione multipla. Nel mio esempio, lo spazio soggetto appare così (mostro solo il piano 2D attraversato dai due vettori variabili): $n$ $\mathbf X$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

I componenti principali, essendo combinazioni lineari delle due variabili, formeranno due vettori e sullo stesso piano. La mia domanda è: qual è la comprensione / intuizione geometrica di come formare i vettori delle variabili dei componenti principali usando i vettori delle variabili originali su tale trama? Dati e , quale procedura geometrica produrrebbe ? $\mathbf p_1$ $\mathbf p_2$ $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$

Di seguito è la mia attuale parziale comprensione di esso.

Prima di tutto, posso calcolare i componenti / assi principali attraverso il metodo standard e tracciarli sulla stessa figura:

$\hskip 1in$

Inoltre, possiamo notare che è scelto in modo tale che la somma delle distanze al quadrato tra (vettori blu) e le loro proiezioni su sia minima; quelle distanze sono errori di ricostruzione e sono mostrate con linee tratteggiate nere. Equivalentemente, massimizza la somma delle lunghezze quadrate di entrambe le proiezioni. Questo specifica completamente e ovviamente è del tutto analogo alla descrizione simile nello spazio primario (vedi l'animazione nella mia risposta a Rilevare l'analisi dei componenti principali, autovettori ed autovalori ). Vedi anche la prima parte della risposta di @ ttnphns qui . $\mathbf p_1$ $\mathbf x_i$ $\mathbf p_1$ $\mathbf p_1$ $\mathbf p_1$

Tuttavia, questo non è abbastanza geometrico! Non mi dice come trovare tale e non ne specifica la lunghezza. $\mathbf p_1$

La mia ipotesi è che , , e giacciono tutti su un'ellisse centrata su con e come assi principali. Ecco come appare nel mio esempio: $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$ $\mathbf p_2$ $0$ $\mathbf p_1$ $\mathbf p_2$

$\hskip 1in$

Q1: come dimostrarlo? La dimostrazione algebrica diretta sembra essere molto noiosa; come vedere che questo deve essere il caso?

Ma ci sono molte diverse ellissi centrate su e che passano attraverso e : $0$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

Q2: Cosa specifica l'ellisse "corretta"? La mia prima ipotesi fu che è l'ellisse con l'asse principale più lungo possibile; ma sembra essere sbagliato (ci sono ellissi con asse principale di qualsiasi lunghezza).

Se ci sono risposte a Q1 e Q2, allora vorrei anche sapere se si generalizzano al caso di più di due variabili.

— ameba dice Reinstate Monica
fonte

È vero che ci sono molte possibili ellissi che sono centrate sull'origine (dove x1 e x2 si intersecano) e entrano in contatto con le estremità lontane di x1 & x2? Avrei pensato che ce ne sarebbe stato solo uno. Certamente possono essercene molti se rilassi 1 di quei 3 criteri (centro e 2 punte).

— gung - Ripristina Monica

Ci sono molte ellissi centrate sull'origine che passa attraverso due vettori. Ma per i vettori non collineari e ce n'è solo uno che è il cerchio unitario nella doppia base. È il locus di doveMolto può essere appreso dai suoi assi principali.

(a, b)

$(a,b)$

(c, d)

$(c,d)$

x (a, b) + y (c, d)

$x(a,b)+y(c,d)$

{| {(\begin{matrix} a & c \\ b & d \end{matrix})}^{- 1} (\begin{matrix} x \\ y \end{matrix}) |}^{2} = 1.

$\left|\pmatrix{a&c\\b&d}^{-1}\pmatrix{x\\y}\right|^2=1.$

— whuber

variable space (I borrowed this term from ttnphns)- @amoeba, devi sbagliarti. Le variabili come vettori nello spazio (originariamente) n-dimensionale sono chiamate spazio soggetto (n soggetti come assi "hanno definito" lo spazio mentre le variabili p lo "abbracciano"). Lo spazio variabile è, al contrario, il contrario - cioè il solito diagramma a dispersione. Ecco come viene stabilita la terminologia nelle statistiche multivariate. (Se nell'apprendimento automatico è diverso - non lo so - allora è molto peggio per gli studenti.)

— ttnphns

Si noti che entrambi sono spazi vettoriali: vettori (= punti) è ciò che si estende, gli assi è ciò che definisce le direzioni e sopporta le tacche di misurazione. Nota anche la dialettica: entrambi gli "spazi" sono in realtà lo stesso spazio (formulato solo in modo diverso per uno scopo attuale). Si vede, per esempio, nell'ultima foto di questa risposta . Quando sovrapponi le due formulazioni ottieni il biplot, o doppio spazio.

— ttnphns,

My guess is that x1, x2, p1, p2 all lie on one ellipseQuale potrebbe essere l'aiuto euristico dall'ellisse qui? Ne dubito.

— ttnphns,

Tutti i riassunti di visualizzati nella domanda dipendono solo dai suoi secondi momenti; o, equivalentemente, della matrice . Perché stiamo pensando di come nuvola di punti punto --Ogni è una fila di --abbiamo può chiedere ciò che semplici operazioni su questi punti conservano le proprietà di . $\mathbf X$ $\mathbf{X^\prime X}$ $\mathbf X$ $\mathbf X$ $\mathbf{X^\prime X}$

Uno è quello di sinistra-moltiplicare da un matrice , che produrrebbe un altro matrice . Perché questo funzioni, è essenziale $\mathbf X$ $n\times n$ $\mathbf U$ $n\times 2$ $\mathbf{UX}$

X^{'} X = (U X)^{'} U X = X^{'} (U^{'} U) X .

$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$

L'uguaglianza è garantita quando è la matrice di identità : cioè quando è ortogonale . $\mathbf{U^\prime U}$ $n\times n$ $\mathbf{U}$

È noto (e facile da dimostrare) che le matrici ortogonali sono prodotti di riflessioni e rotazioni euclidee (formano un gruppo di riflessione in ). Scegliendo le rotazioni con saggezza, siamo in grado di semplificare notevolmente . Un'idea è quella di concentrarsi sulle rotazioni che interessano solo due punti nel cloud alla volta. Questi sono particolarmente semplici, perché possiamo visualizzarli. $\mathbb{R}^n$ $\mathbf{X}$

Specificamente, lasciate e essere due punti distinti nulli nella nube, costituendo righe e di . Una rotazione dello spazio di colonna interessa solo questi due punti li converte in $(x_i, y_i)$ $(x_j, y_j)$ $i$ $j$ $\mathbf{X}$ $\mathbb{R}^n$

{\begin{cases} (x_{i}^{'}, y_{i}^{'}) = (\cos (θ) x_{i} + \sin (θ) x_{j}, \cos (θ) y_{i} + \sin (θ) y_{j}) \\ (x_{j}^{'}, y_{j}^{'}) = (- \sin (θ) x_{i} + \cos (θ) x_{j}, - \sin (θ) y_{i} + \cos (θ) y_{j}) . \end{cases}

$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$

Ciò equivale a disegnare i vettori e nel piano e ruotarli di un angolo . (Notate come le coordinate si confondono qui! Le vanno l'una con l'altra e le vanno insieme. Pertanto, l'effetto di questa rotazione in solito non sembrerà una rotazione dei vettori e $(x_i, x_j)$ $(y_i, y_j)$ $\theta$ $x$ $y$ $\mathbb{R}^n$ $(x_i, y_i)$ $(x_j, y_j)$ come disegnato in $\mathbb{R}^2$ )

Scegliendo l'angolo giusto, possiamo azzerare uno di questi nuovi componenti. Per essere concreti, scegliamo modo che $\theta$

{\begin{cases} \cos (θ) = \pm \frac{x_{i}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \\ \sin (θ) = \pm \frac{x_{j}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \end{cases} .

$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$

Questo rende . Scegli il segno per rendere . Chiamiamo questa operazione, che cambia punti e nella nuvola rappresentata da , . $x_j^\prime=0$ $y_j^\prime \ge 0$ $i$ $j$ $\mathbf X$ $\gamma(i,j)$

Applicando ricorsivamente a , la prima colonna di sarà diversa da zero solo nella prima riga. Geometricamente, avremo spostato tutto tranne un punto nella nuvola sull'asse . Ora possiamo applicare una singola rotazione, potenzialmente coinvolgendo le coordinate in , per comprimere quelle $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$ $\mathbf{X}$ $\mathbf{X}$ $y$ $2, 3, \ldots, n$ $\mathbb{R}^n$ punto verso il basso per un singolo punto. Equivalentemente, è stato ridotto a una forma di blocco $n-1$ $X$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & z \end{matrix}),

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$

con e entrambi i vettori di colonna con coordinate, in modo tale che $\mathbf{0}$ $\mathbf{z}$ $n-1$

X^{'} X = (\begin{matrix} {(x_{1}^{'})}^{2} & x_{1}^{'} y_{1}^{'} \\ x_{1}^{'} y_{1}^{'} & {(y_{1}^{'})}^{2} + | | z | |^{2} \end{matrix}) .

$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$

Questa rotazione finale riduce ulteriormente alla sua forma triangolare superiore $\mathbf{X}$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & | | z | | \\ 0 & 0 \\ ⋮ & ⋮ \\ 0 & 0 \end{matrix}) .

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$

$\mathbf{X}$ $2\times 2$ $\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$

Per illustrare, ho disegnato quattro punti iid da una distribuzione normale bivariata e arrotondato i loro valori a

X = (\begin{matrix} 0.09 & 0.12 \\ - 0.31 & - 0.63 \\ 0.74 & - 0.23 \\ - 1.8 & - 0.39 \end{matrix})

$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$

Questa nuvola di punti iniziale viene mostrata a sinistra della figura successiva usando punti neri solidi, con frecce colorate che puntano dall'origine a ciascun punto (per aiutarci a visualizzarli come vettori ).

$\gamma(1,2), \gamma(1,3),$ $\gamma(1,4)$ $y$ $\mathbf X$ $||\mathbf{z}||$ $(x_1^\prime, y_1^\prime)$

$\mathbf X$

\begin{matrix} (1) & θ \to (\cos (θ) x_{1}^{'}, \cos (θ) y_{1}^{'} + \sin (θ) | | z | |) \end{matrix}

$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$

mentre il secondo vettore traccia lo stesso percorso secondo

\begin{matrix} (2) & θ \to (- \sin (θ) x_{1}^{'}, - \sin (θ) y_{1}^{'} + \cos (θ) | | z | |) . \end{matrix}

$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$

$\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$

(1, 0) \to (x_{1}^{'}, 0); (0, 1) \to (y_{1}^{'}, | | z | |),

$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$

$\theta$ $(1)$ $(2)$ $\theta$

Poiché questi sono ortogonali e sono diretti lungo gli assi dell'ellisse, rappresentano correttamente gli assi principali : la soluzione PCA. Che risponde alla domanda 1.

$\mathbb{R}^2$ $p=2$ $\mathbb{R}^2$

$\gamma(i,j)$ $Q$ $\mathbf{X}$ $R$ $\mathbf{D}\cdot \mathbf{V}^\prime$ $\mathbf{X} = \mathbf{U\, D\, V^\prime}$ $\mathbf{U}$

$p\ne 2$

— whuber
fonte

Sebbene la tua risposta possa essere esemplare da sola, non è chiaro - per me - come si collega alla domanda. Stai parlando del cloud di dati X (e i vettori che ruoti sono punti di dati, righe di X). Ma la domanda riguardava lo spazio soggetto ridotto . In altre parole, non abbiamo dati X, abbiamo solo covarianza 2x2 o matrice scatter X'X.

— ttnphns,

(cont.) Rappresentiamo le 2 variabili riassunte da essa come 2 vettori con lunghezze = sqrt (elementi diagonali) e angolo = loro correlazione. Quindi l'OP chiede come possiamo risolvere in modo puramente geometrico per i componenti principali. In altre parole, OP vuole spiegare la geometria geometrica (autovalori e autovettori o, meglio, caricamenti) della matrice di covarianza simmetrica 2x2.

— ttnphns,

(cont.) Guarda la seconda foto lì . Ciò che l'OP della domanda attuale cerca è trovare strumenti o trucchi geometrici (trigonometrici ecc.) Per disegnare i vettori P1 e P2 su quella foto, avendo solo i vettori X e Y forniti.

— ttnphns,

@ttnphns. Non importa quale sia il punto di partenza: la prima metà di questa risposta mostra che puoi ridurre qualsiasi nuvola di punti

X

$\mathbf{X}$ a una coppia di punti che contengono tutte le informazioni su $\mathbf{X^\prime X}$ . La seconda metà dimostra che la coppia di punti non è unica, ma ciononostante ognuno giace sulla stessa ellisse. Dà una costruzione esplicita di quell'ellisse che inizia con qualsiasi rappresentazione a due punti di

X^{'} X

$\mathbf{X^\prime X}$ (come la coppia di vettori blu mostrati nella domanda). I suoi assi maggiore e minore producono la soluzione PCA (i vettori rossi).

— whuber

Grazie, sto cominciando a capire il tuo pensiero. (Vorrei che tu abbia aggiunto i sottotitoli / sinossi proprio nella tua risposta sulle due "metà" di esso, solo per strutturarlo per un lettore.)

— ttnphns