La PCA viene ancora eseguita tramite la composizione elettronica della matrice di covarianza quando la dimensionalità è maggiore del numero di osservazioni?

Ho una matrice , contenente i miei campioni nello spazio dimensionale . Ora desidero codificare la mia analisi dei componenti principali (PCA) in Matlab. Ho avvilire a prima. $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

Ho letto dal codice di qualcuno che in tali scenari in cui abbiamo più dimensioni delle osservazioni, non si scompone più l' della matrice di covarianza di . Invece, abbiamo Eigen-decompongono . Perché è corretto? $X_0$ $\frac{1}{N-1}X_0X_0^T$

La normale matrice di covarianza è di dimensioni , ciascun elemento ci dice la covarianza tra due dimensioni. Per me, non ha nemmeno le dimensioni corrette! È la matrice , quindi cosa ci dirà? Covarianza tra due osservazioni ?! $D\times D$ $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— Sibbs Gioco d'azzardo
fonte

La risposta alla tua domanda è nella circostanza che, come risulta dalla tua proposta, non hai bisogno della matrice di covarianza delle colonne per sé. Lo volevi solo come percorso per ottenere PC. Giusto? Ma gli stessi risultati della PCA possono essere ottenuti tramite automa di X'Xe XX'(così come svd di Xe X'). Ciò che viene chiamato "caricamenti" in un caso verrà chiamato "punteggi PC" nell'altro e viceversa. Poiché entrambi sono solo coordinate ( vedi, ad esempio ) e gli assi, le "dimensioni principali" sono le stesse.

— ttnphns,

(cont.) Se è così e sei libero di scegliere quale scomporre, è saggio scomporre ciò che deve fare più velocemente / in modo più efficiente. Quando n<prichiede meno RAM e meno tempo per decomporsi XX'poiché ha dimensioni inferiori.

— ttnphns,

@ttnphns Ottima spiegazione. Vedo il punto ora. Tuttavia, ho ancora problemi che vanno da eigen XX'al PC. Potresti per favore mostrarmi brevemente come? Dato che i PC sono solo autovettori della matrice di covarianza, ho tentato di spostarmi da autovelo XX'a autovene della matrice di covarianza X'X, ma non ci sono riuscito.

— Sibbs Gioco d'azzardo il

Devo andare. Forse @amoeba (che è molto più agile in algebra di me) o un altro lettore guarderà presto qui e ti aiuterà. Saluti.

— ttnphns,

@ttnphns: Fatto :)

— amoeba,

La matrice di covarianza ha dimensioni ed è data da $D\times D$

C = \frac{1}{N - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

La matrice di cui stai parlando non è ovviamente una matrice di covarianza; si chiama matrice Gram ed è di dimensioni : $N\times N$

sol = \frac{1}{N - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

L'analisi dei componenti principali (PCA) può essere implementata tramite la composizione elettronica di una di queste matrici. Questi sono solo due modi diversi per calcolare la stessa cosa.

Il modo più semplice e utile per vederlo è utilizzare la scomposizione del valore singolare della matrice di dati . Inserendolo nelle espressioni per e , otteniamo: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} C & = V \frac{S^{2}}{N - 1} V^{⊤} \\ sol & = U \frac{S^{2}}{N - 1} U^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

Gli autovettori della matrice di covarianza sono le direzioni principali. Le proiezioni dei dati su questi autovettori sono componenti principali; queste proiezioni sono fornite da . Componenti principali scalati per unità di lunghezza sono date da . Come vedi, gli autovettori della matrice Gram sono esattamente questi componenti principali in scala. E gli autovalori di e coincidono. $\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

Il motivo per cui potresti vedere che è consigliabile utilizzare la matrice Gram se è perché sarà di dimensioni inferiori, rispetto alla matrice di covarianza, e quindi sarà più veloce da calcolare e più veloce da comporre. In effetti, se la tua dimensionalità è troppo alta, non c'è modo di memorizzare la matrice di covarianza in memoria, quindi operare su una matrice di Grammo è l'unico modo per fare PCA. Ma per gestibile si può ancora usare eigendecomposition della matrice di covarianza, se si preferisce, anche se . $N<D$ $D$ $D$ $N<D$

Vedi anche: Relazione tra autovettori di e nel contesto di PCA $\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— ameba
fonte

Bella risposta! Non sapevo che avesse un nome! Molte grazie! Ora sono fiducioso di usarlo per accelerare il mio calcolo.

— Sibbs Gioco d'azzardo il

La mia risposta presuppone che quello che vuoi ottenere sia , e forse anche . Se anche voi volete ottenere , allora si può calcolare tramite dopo aver ottenuto . In effetti, se la tua dimensionalità è troppo elevata, non c'è modo di memorizzare la matrice di covarianza in memoria, quindi operare su una matrice Gram è l'unico modo per fare PCA.

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

— amoeba,

Questa risposta è più chiara che molte esposizioni che ho visto nei libri. Grazie.

— usεr11852,

Per scopi puramente indicativi: penso che il documento Technometrics del 1969 di IJ Good " Alcune applicazioni della decomposizione singolare di una matrice " sia uno dei primi a fare prima riferimento completo a questo.

— usεr11852,

@MattWenham Precisely.

— amoeba,