Le soluzioni PCA sono uniche?

12

Quando eseguo PCA su un determinato set di dati, la soluzione che mi viene proposta è unica?

Vale a dire, ottengo un insieme di coordinate 2d, basate sulle distanze tra punti. È possibile trovare almeno un'altra disposizione dei punti che soddisfano questi vincoli?

Se la risposta è sì, come posso trovare una soluzione così diversa?

pca

— raygozag
fonte

11

La risposta alla domanda di unicità è sia sì che no. È "sì", nel senso che gli autovalori e gli autovalori sono matematicamente ben definiti e definiti in modo univoco. È "no" nel senso che (a) ci sono molti modi per rappresentare quegli eigenspace (anche un autovettore normalizzato può essere negato e ci sono molte scelte di base per gli eigenspace degenerati) e (b) algoritmi diversi possono produrre risultati che differiscono a causa dell'accumulo di errori in virgola mobile nei calcoli.

— whuber

Ramsay e Silverman nel libro "Functinal Data Analysis", menzionano la rotazione VARIMAX. Il tuo discorso sulla suddivisione di un set di dati di funzioni (rappresentato come una matrice) nei suoi componenti principali.

— alimentazione

Sembra che tu voglia utilizzare PCA come strumento per la riduzione delle dimensioni. Puoi iniziare guardando la riduzione dimensionale ...

— Elvis

7

$p$ $p$ $X$ $w$

λ_{1} = max_{w \in R^{p} : | | w | | = 1} w^{'} X w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

(dove è il primo valore eigen e il primo vettore eigen). $\lambda_1$ $w^*$

La soluzione a tali problemi (ad esempio i valori di raggiungimento di quella massima) sono, in generale, non unico. $w$

Tuttavia, gli algoritmi per il calcolo di queste soluzioni sono deterministici, il che significa che, salvo i casi angolari numerici, le soluzioni ottenute dovrebbero essere le stesse.

Esempio di tali casi angolari numerici: casi in cui più valori di autoveni sono (numericamente) uguali, casi in cui è carente di rango ... $X$

— user603
fonte

7

Qualcosa che non è stato ancora notato è che semplicemente invertire il segno di un PC produce una soluzione diversa. Cioè, se è il ° componente principale, quindi è anche una soluzione al esima componente principale. Ciò ha causato confusione in precedenza, soprattutto quando il computer emette PC alternati. Vedere questo domanda . $\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

— Cam.Davidson.Pilon
fonte

3

Per un'interessante applicazione pratica di questa ambiguità, consultare stats.stackexchange.com/questions/34396 . (A proposito, è stata notata l'inversione del segno : vedi il primo commento a questa domanda.)

— whuber