Perché i punteggi dei componenti principali non sono correlati?

Supose è una matrice di dati centrati sulla media. La matrice è , ha autovalori distinti e autovettori , ... , che sono ortogonali. $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

L' -esimo componente principale (alcune persone li chiamano "punteggi") è il vettore . In altre parole, è una combinazione lineare delle colonne di , in cui i coefficienti sono i componenti del -esimo autovettore . $i$ $\mathbf z_i = \mathbf A\mathbf s_i$ $\mathbf A$ $i$ $\mathbf S$

Non capisco perché e non correlati per tutti . Se dal fatto che e sono ortogonali? Sicuramente no, perché posso facilmente trovare una matrice e una coppia di vettori ortogonali tali che e siano correlati. $\mathbf z_i$ $\mathbf z_j$ $i\neq j$ $\mathbf s_i$ $\mathbf s_j$ $\mathbf B$ $\mathbf x, \mathbf y$ $\mathbf B\mathbf x$ $\mathbf B\mathbf y$

correlation pca linear-algebra

— Ernest A
fonte

Una risposta correlata stats.stackexchange.com/a/110546/3277 .

— ttnphns,

z_{io}^{⊤} z_{j} = (UN S_{io})^{⊤} (UN S_{j}) = S_{io}^{⊤} {UN}^{⊤} UN S_{j} = (n - 1) S_{io}^{⊤} S S_{j} = (n - 1) S_{io} λ_{j} S_{j} = (n - 1) λ_{j} S_{io} S_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— ameba
fonte

Matematica: che lingua meravigliosa.

— Néstor,

Ciò significa che e sono ortogonali. Non correlato significa che questo deve essere vero: . Suppongo che in qualche modo e quindi implica anche che non sono correlati.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— Ernest A

Buon punto, @Ernest. I mezzi sono effettivamente zero, perché i dati sono stati centrati sulla media (come si suppone). Quindi tutte le proiezioni devono avere zero medio.

— ameba,

@Jubbles perché , quindi .

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— Ernest A

@Ernest, non ho potuto resistere nel fornire una risposta che non contiene testo, ma forse dovrei aggiungere che il motivo alla base della non correlazione dei PC è che la loro matrice di covarianza è data da nella base degli autovettori, e in questa base diventa diagonale - - questo è il punto centrale della composizione elettronica.

S

$S$

S

$S$

— ameba,