Il segno dei punteggi o dei caricamenti in PCA o FA ha un significato? Posso invertire il segno?

Ho eseguito l'analisi dei componenti principali (PCA) con R usando due diverse funzioni ( prcompe princomp) e ho osservato che i punteggi PCA differivano nel segno. Come può essere?

Considera questo:

set.seed(999)
prcomp(data.frame(1:10,rnorm(10)))$x

            PC1        PC2
 [1,] -4.508620 -0.2567655
 [2,] -3.373772 -1.1369417
 [3,] -2.679669  1.0903445
 [4,] -1.615837  0.7108631
 [5,] -0.548879  0.3093389
 [6,]  0.481756  0.1639112
 [7,]  1.656178 -0.9952875
 [8,]  2.560345 -0.2490548
 [9,]  3.508442  0.1874520
[10,]  4.520055  0.1761397

set.seed(999)
princomp(data.frame(1:10,rnorm(10)))$scores
         Comp.1     Comp.2
 [1,]  4.508620  0.2567655
 [2,]  3.373772  1.1369417
 [3,]  2.679669 -1.0903445
 [4,]  1.615837 -0.7108631
 [5,]  0.548879 -0.3093389
 [6,] -0.481756 -0.1639112
 [7,] -1.656178  0.9952875
 [8,] -2.560345  0.2490548
 [9,] -3.508442 -0.1874520
[10,] -4.520055 -0.1761397

Perché i segni ( +/-) differiscono per le due analisi? Se poi stessi usando i componenti principali PC1e PC2come predittori in una regressione, cioè lm(y ~ PC1 + PC2), questo cambierebbe completamente la mia comprensione dell'effetto delle due variabili su a yseconda del metodo che ho usato! Come potrei quindi dire che PC1ha ad esempio un effetto positivo ye PC2ha ad esempio un effetto negativo su y?

Inoltre: se il segno dei componenti PCA è insignificante, questo vale anche per l'analisi dei fattori (FA)? È accettabile capovolgere (invertire) il segno dei punteggi dei singoli componenti PCA / FA (o dei caricamenti, come una colonna della matrice di caricamento)?

PCA è una semplice trasformazione matematica. Se si modificano i segni dei componenti, non si modifica la varianza contenuta nel primo componente. Inoltre, quando si cambiano i segni, anche i pesi ( prcomp( ... )$rotation) cambiano il segno, quindi l'interpretazione rimane esattamente la stessa:

set.seed( 999 )
a <- data.frame(1:10,rnorm(10))
pca1 <- prcomp( a )
pca2 <- princomp( a )
pca1$rotation

Spettacoli

                 PC1       PC2
X1.10      0.9900908 0.1404287
rnorm.10. -0.1404287 0.9900908

e pca2$loadingsspettacolo

Loadings:
          Comp.1 Comp.2
X1.10     -0.99  -0.14 
rnorm.10.  0.14  -0.99 

               Comp.1 Comp.2
SS loadings       1.0    1.0
Proportion Var    0.5    0.5
Cumulative Var    0.5    1.0

Quindi, perché l'interpretazione rimane la stessa?

Si esegue la regressione PCA del ycomponente 1. Nella prima versione ( prcomp), si dice che il coefficiente è positivo: maggiore è il componente 1, maggiore è y. Cosa significa quando si tratta delle variabili originali? Poiché il peso della variabile 1 ( 1:10in a) è positivo, ciò indica che maggiore è la variabile 1, maggiore è y.

Ora usa la seconda versione ( princomp). Poiché il componente ha il segno cambiato, più grande è y, più piccolo è il componente 1 - il coefficiente di y <su PC1 è ora negativo. Ma lo è anche il caricamento della variabile 1; ciò significa che maggiore è la variabile 1, minore è il componente 1, maggiore è y - l'interpretazione è la stessa.

Forse, il modo più semplice per vedere è usare un biplot.

library( pca3d )
pca2d( pca1, biplot= TRUE, shape= 19, col= "black"  )

Spettacoli

Lo stesso biplot per la seconda variante mostra

pca2d( pca2$scores, biplot= pca2$loadings[,], shape= 19, col= "black" )

Come vedi, le immagini vengono ruotate di 180 °. Tuttavia, la relazione tra pesi / carichi (le frecce rosse) e i punti dati (i punti neri) è esattamente la stessa; pertanto, l'interpretazione dei componenti è invariata.

Questa domanda viene posta molto su questo forum, quindi vorrei integrare l'eccellente risposta di @ gennaio con considerazioni un po 'più generali.

$x_1, x_2, ... x_d$$z_1, z_2, ... z_k$$x_1$$z_1$$z_2$$x_1 \approx 2z_1 + 3z_2$$2$$3$

$z_1$

La conclusione è che per ogni componente PCA o FA, il segno dei suoi punteggi e dei suoi caricamenti è arbitrario e insignificante. Può essere capovolto, ma solo se il segno di entrambi i punteggi e i caricamenti viene invertito contemporaneamente.

$180^\circ$