Linearità della PCA

35

La PCA è considerata una procedura lineare, tuttavia:

P C UN (X) \neq P C UN (X_{1}) + P C UN (X_{2}) + ... + P C UN (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

dove . Ciò significa che gli autovettori ottenuti dai PCA sulle matrici di dati non si sommano per uguagliare gli autovettori ottenuti dal PCA sulla somma delle matrici di dati . Ma non è la definizione di una funzione lineare che: $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

Quindi perché la PCA è considerata "lineare" se non soddisfa questa condizione di linearità di base?

pca linear

— Alfa Omega
fonte

Una volta ho scritto o sentito (scusate, non ricordo dove o quando), che PCA "appartiene alla famiglia di procedure lineari" perché si basa su dipendenze lineari tra le variabili. Utilizza la matrice di correlazione di Pearson e cerca combinazioni lineari di varianza più elevata.

— Łukasz Deryło,

4

La natura di questa domanda potrebbe diventare un po 'più chiara contemplando l'impostazione molto più semplice e ordinaria della regressione dei minimi quadrati ordinari: questo è l'archetipo di una procedura statistica lineare. Tuttavia, il processo di stima minimi quadrati coefficienti è una funzione non lineare manifestamente della matrice dei dati

X

$X$ , come attestato dalla formula

. (Si noti che è una funzione lineare del vettore di risposta

.)

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

Vale la pena ricordare che f (x) = x + 1 è anche una "funzione lineare" ... ma non soddisfa ciò che hai appena detto ... che dovrebbe spiegare qualcosa.

— Mehrdad,

Questo perché

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Gabriel Romon

39

Quando diciamo che PCA è un metodo lineare, ci riferiamo alla mappatura di riduzione dimensionale dallo spazio ad alta dimensione a uno spazio a dimensione inferiore . Nella PCA, questa mappatura è data dalla moltiplicazione di per la matrice degli autovettori PCA e quindi è manifestamente lineare (la moltiplicazione della matrice è lineare): Ciò è in contrasto con i metodi non lineari di riduzione della dimensionalità , in cui la mappatura di riduzione della dimensionalità può essere non lineare. $f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

D'altra parte, i top autovettori sono calcolati sulla base dei dati matrice usando quello chiamato nella domanda: e questa mappatura è certamente non lineare: comporta il calcolo degli autovettori della matrice di covarianza, che è una procedura non lineare. (A titolo di esempio banale, moltiplicando per $k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$ aumenta la matrice di covarianza di

, ma i suoi autovettori rimangono gli stessi poiché sono normalizzati per avere unità di lunghezza.)

4

$4$

— ameba dice Reinstate Monica
fonte

Il fatto che io abbia ottenuto 35 voti positivi per questa banale risposta è piuttosto ridicolo (ed è principalmente dovuto al fatto che questo thread è nelle Hot Network Questions per un po ').

— ameba dice Ripristina Monica il

5

"Lineare" può significare molte cose e non è impiegato esclusivamente in modo formale.

La PCA non è spesso definita come una funzione in senso formale, e pertanto non ci si aspetta che soddisfi i requisiti di una funzione lineare quando descritta come tale. È più spesso descritto, come hai detto, come una procedura e talvolta un algoritmo (anche se non mi piace quest'ultima opzione). Si dice spesso che sia lineare in un modo informale, non ben definito.

La PCA può essere considerata lineare, ad esempio, nel senso seguente. Appartiene ad una famiglia di metodi che ritengono che ciascuna variabile può essere approssimata da una funzione dove e è un insieme di variabili con alcune proprietà desiderabili. Nel caso della PCA, è un insieme di variabili indipendenti che possono essere ridotte in cardinalità con una perdita minima nella precisione di approssimazione in un senso specifico. Quelle sono proprietà desiderabili in numerosi contesti. $X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

Ora, per PCA, ogni è limitato alla forma che è una combinazione lineare delle variabili in . $f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

Data questa restrizione, offre una procedura per trovare i valori ottimali (in un certo senso) di e degli . Cioè, PCA considera le funzioni lineari solo come ipotesi plausibili. In questo senso, penso che possa essere legittimamente descritto come "lineare". $Y$ $\alpha_{ij}$

— broncoAbierto
fonte

3

PCA fornisce / è una trasformazione lineare.

Se prendi la mappa associata a una particolare analisi, dì quindi . $\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

A titolo di confronto, un esempio molto semplice di un processo che utilizza una trasformazione lineare ma non è una trasformazione lineare stessa:

$D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

e

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

ma

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

questo raddoppio dell'angolo, che comporta il calcolo degli angoli, non è lineare ed è analogo all'affermazione dell'ameba, che il calcolo dell'autovettore non è lineare

— Sesto Empirico
fonte