Kernel PCA con kernel lineare equivale a PCA standard?

Se nel kernel PCA scelgo un kernel lineare , il risultato sarà diverso dal normale PCA lineare ? Le soluzioni sono fondamentalmente diverse o esiste qualche relazione ben definita? $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$

pca kernel-trick

— tgoossens
fonte

Risposte:

Riepilogo: kernel PCA con kernel lineare è esattamente equivalente al PCA standard.

Sia la matrice di dati centrata di dimensione con variabili in colonne e punti dati in righe. Quindi la matrice di covarianza è data da , i suoi autovettori sono assi principali e gli autovalori sono varianze PC. Allo stesso tempo, si può considerare la cosiddetta matrice Gram della dimensioneÈ facile vedere che ha gli stessi autovalori (cioè varianze di PC) fino al fattore , e i suoi autovettori sono componenti principali ridimensionati in base alla norma unitaria. $\mathbf{X}$ $N \times D$ $D$ $N$ $D \times D$ $\mathbf{X}^\top\mathbf{X}/(n-1)$ $\mathbf{X}\mathbf{X}^\top$ $N \times N$ $n-1$

Questo era un PCA standard. Ora, nel kernel PCA consideriamo alcune funzioni $\phi(x)$ che mappano ogni dato puntando a un altro spazio vettoriale che di solito ha una maggiore dimensionalità $D_\mathrm{new}$ , forse anche infinito. L'idea del kernel PCA è quella di eseguire il PCA standard in questo nuovo spazio.

Poiché la dimensionalità di questo nuovo spazio è molto ampia (o infinita), è difficile o impossibile calcolare una matrice di covarianza. Tuttavia, possiamo applicare il secondo approccio alla PCA delineato sopra. In effetti, la matrice Gram sarà ancora della stessa dimensione gestibile $N \times N$ . Gli elementi di questa matrice sono dati da $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ , che chiameremo funzione del kernel $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ . Questo è ciò che è noto come il trucco del kernel : in realtà non è mai necessario calcolare $\phi()$ , ma solo $K()$ . Gli autovettori di questa matrice Gram saranno i componenti principali nello spazio target, quelli a cui siamo interessati.

La risposta alla tua domanda ora diventa ovvia. Se , la matrice Gram del kernel si riduce a che è uguale alla matrice Gram standard e quindi i componenti principali non cambieranno. $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

Un riferimento molto leggibile è Scholkopf B, Smola A e Müller KR, analisi dei componenti principali del kernel, 1999 , e nota che, ad esempio, nella Figura 1 si riferiscono esplicitamente al PCA standard come quello che utilizza il prodotto dot come funzione del kernel:

kernel PCA

— ameba dice Reinstate Monica
fonte

erano quelle foto nella tua risposta? Da qualche libro?

— Pinocchio,

@Pinocchio, la figura è tratta da Scholkopf et al. carta, referenziato e collegato nella mia risposta.

— ameba dice di reintegrare Monica il

"È facile vedere che ha gli stessi autovalori (cioè varianze di PC) fino al fattore n − 1 " - questo non significherebbe che allora non sono completamente equivalenti? Diciamo che ho una matrice con n = 10 campioni, d = 200 dimensioni. Nel PCA standard sarei in grado di proiettare i dati su 199 dimensioni se volessi, ma nel PCA del kernel con kernel lineare posso solo fino a 10 dimensioni.

— Cesar,

@Cesar, no, se hai n = 10 campioni, la matrice di covarianza avrà un grado 10-1 = 9 e il PCA standard troverà solo 9 dimensioni (oltre al PCA del kernel). Vedi qui: stats.stackexchange.com/questions/123318 .

— ameba dice di reintegrare Monica il

Ricevo file non trovato per il link di riferimento di Scholkopf B, Smola A e Müller KR.

— bibbia,

Oltre alla bella risposta dell'ameba, esiste un modo ancora più semplice di vedere l'equivalenza. Ancora una volta è la matrice di dati di dimensioni con variabili in colonne e punti di dati in righe. Serie PCA corrisponde alla frequenza di un valore singolare decomposizione della matrice con i componenti principali di . La decomposizione del valore singolare del kernel lineare ha gli stessi vettori singolari sinistri e quindi gli stessi componenti principali. $X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$

— Martha White
fonte

Per quanto riguarda la PCA standard, pensavo che ci tenessimo, per quanto riguarda l'SVD della matrice di covarianza, quindi non capisco davvero quanto sia rilevante l'SVD di X, puoi per favore espandere?

— m0s,

@ m0s Per PCA, ci preoccupiamo della composizione elettronica della matrice di covarianza che di solito eseguiamo dal SVD della matrice di dati (centrata).

— MrDrFenner,

Mi sembra che un KPCA con kernel lineare dovrebbe essere lo stesso del semplice PCA.

La matrice di covarianza da cui otterrai gli autovalori è la stessa:

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

Puoi controllare con maggiori dettagli qui .

— Jundiaius
fonte

La tua risposta è corretta nello spirito, ma la formula sembra confusa. KPCA funziona con la matrice Gram

, non con la matrice di covarianza (per molti kernel non lineari è in realtà impossibile calcolare la matrice di covarianza poiché lo spazio target ha una dimensionalità infinita). Vedi pagina 2 della carta che citi.

K (x_{i}, x_{j})

$K(x_i, x_j)$

— ameba dice Reinstate Monica il