Matrice inversa di covarianza vs matrice di covarianza in PCA

Nella PCA, fa differenza se scegliamo i componenti principali della matrice di covarianza inversa O se lasciamo cadere gli autovettori della matrice di covarianza corrispondenti a grandi autovalori?

Questo è legato alla discussione in questo post .

machine-learning pca computational-statistics

— Mustafa Arif
fonte

Si noti che per una matrice di covarianza definita positiva $\mathbf \Sigma = \mathbf{UDU}'$ la precisione è . $\boldsymbol \Sigma^{-1} = \mathbf {U D}^{-1} \mathbf U'$

Quindi gli autovettori rimangono gli stessi, ma gli autovalori della precisione sono i reciproci degli autovalori della covarianza. Ciò significa che i maggiori autovalori della covarianza saranno i più piccoli autovalori della precisione. Poiché hai l'inverso, la chiarezza positiva garantisce che tutti gli autovalori sono maggiori di zero.

Pertanto, se si mantengono gli autovettori relativi ai autovalori più piccoli della precisione, ciò corrisponde al normale PCA. Dato che abbiamo già preso i reciproci ( ), per completare lo sbiancamento dei dati trasformati dovrebbe essere utilizzata solo la radice quadrata degli autovalori di precisione. $k$ $\bf D^{-1}$

— congetture
fonte

+1 ma penso che la tua frase "Quindi sì, fa la differenza" potrebbe essere fonte di confusione per l'OP; il Q non è molto chiaro ma penso che stessero chiedendo se c'è una differenza tra la selezione degli autovalori più grandi della matrice inv cov e la selezione degli autovalori più piccoli (= far cadere quelli più grandi) della matrice cov. A questa domanda la risposta è che è equivalente. Quindi forse se tagli semplicemente questa frase, la risposta sarà più chiara.

— ameba,

Grazie, capisco cosa intendi e ho modificato di conseguenza.

— congetture il

In realtà l'ultima frase era buona, l'avrei mantenuta!

— ameba,

@conjectures Grazie, questa è la spiegazione perfetta.

— Mustafa Arif,

Inoltre, la matrice di covarianza inversa è proporzionale alla correlazione parziale tra i vettori:

Corr(Xi, Xj | (Xothers )

Correlazione tra Xi e Xj quando tutti gli altri sono fissi, è molto utile per le serie storiche.

— quantCode
fonte

Questo è vero, ma cosa c'entra questo con PCA?

— ameba,