Eigenmaps PCA, ICA e Laplacian

Domanda

Sono molto interessato al metodo Eigenmaps Laplaciano. Attualmente lo sto usando per ridurre le dimensioni dei miei set di dati medici.

Tuttavia, ho riscontrato un problema utilizzando il metodo.

Ad esempio, ho alcuni dati (segnali spettri) e posso usare PCA (o ICA) per ottenere alcuni PC (o IC). Il problema è come ottenere componenti con dimensioni ridotte simili dei dati originali usando LE?

Secondo il metodo delle eigenmaps lappacee, dobbiamo risolvere il problema degli autovalori generalizzati, che è

$L y = \lambda D y$

Qui è l'autovettore. Se tracciamo per esempio i primi 3 autovettori (la soluzione secondo 3 autovalori), i risultati non sono interpretabili.$y$

Tuttavia, quando tracciamo i primi 3 PC e i primi 3 circuiti integrati, i risultati sembrano sempre rappresentare chiaramente (visivamente) i dati originali .$x$

Suppongo che il motivo sia perché la matrice è definita dalla matrice del peso (matrice di adiacenza ) e i dati sono stati adattati con il kernel di calore per creare , che utilizza una funzione esponenziale. La mia domanda è: come recuperare i componenti ridotti di (non l'autovettore della matrice )?$L$$W$$x$$W$$x$$y$$L$

Dati

Il mio set di dati è limitato e non è facile dimostrare il problema. Qui ho creato un problema con i giocattoli per mostrare cosa intendevo e cosa volevo chiedere.

Si prega di vedere l'immagine,

In primo luogo, creo alcune onde sinusoidali A, B, C mostrate in curve rosse (prima colonna della figura). A, B e C hanno 1000 campioni, in altre parole, salvati in vettori 1x1000.

In secondo luogo, ho mescolato le fonti A, B, C usando combinazioni lineari create casualmente, ad es. , in cui sono valori casuali. Il segnale misto è in uno spazio dimensionale molto elevato, ad es. , 1517 è uno spazio tridimensionale scelto casualmente. Mostro solo le prime tre file del segnale M in curve verdi (seconda colonna della figura).$M = r_1*A + r_2*B + r_3*C$$r_1, r_2, r_3$$M$$M \in R^{1517\times1000}$

Successivamente, eseguo PCA, ICA e eigenmaps Laplacian per ottenere i risultati della riduzione dimensionale. Ho scelto di usare 3 PC, 3 IC e 3 LE per fare un confronto equo (le curve blu mostrate rispettivamente come 3a, 4a e ultima colonna della figura).

Dai risultati di PCA e ICA (terza, quarta colonna della figura), possiamo vedere che possiamo interpretare i risultati come una riduzione della dimensione, cioè, per i risultati ICA, possiamo recuperare il segnale misto di (Non sono sicuro che possiamo ottenere anche con risultati PCA ma il risultato mi sembra giusto).$M = b_1*IC1 + b_2*IC2 + b_3*IC3$$M = a_1*PC1 + a_2*PC2 + a_3*PC3$

Tuttavia, per favore guarda i risultati di LE, riesco a malapena a interpretare i risultati (ultima colonna della figura). Sembra qualcosa di "sbagliato" con i componenti ridotti. Inoltre, voglio menzionare che alla fine la trama dell'ultima colonna è l'autovettore nella formula$y$$L y = \lambda D y$

La gente ha più idee?

La Figura 1 che utilizza 12 vicini più vicini e sigma nel kernel di riscaldamento è 0,5:

La Figura 2 che utilizza 1000 vicini più vicini e sigma nel kernel di riscaldamento è 0,5:

Sourcecode: codice Matlab con pacchetto richiesto

La risposta alla tua domanda è data dalla mappatura in fondo a pagina 6 dell'originale Laplaciano Eigenmaps carta :

$x_i \rightarrow (f_1(i), \dots, f_m(i))$

Ad esempio, l'incorporamento di un punto in, diciamo, i primi 2 "componenti" è dato da dove e sono gli autovettori corrispondenti ai due autovalori non zero più piccoli dal problema degli autovalori generalizzati .$x_5$$(f_1(5), f_2(5))$$f_1$$f_2$$L f = \lambda D f$

Si noti che, diversamente dalla PCA, non è semplice ottenere un incorporamento fuori campione. In altre parole, è possibile ottenere l'incorporamento di un punto che era già stato considerato durante il calcolo di , ma non (facilmente) se si tratta di un nuovo punto. Se sei interessato a fare quest'ultimo, consulta questo documento .$L$

Ecco il link alla pagina Web del Prof Trosset del corso e sta anche scrivendo un libro http://mypage.iu.edu/~mtrosset/Courses/675/notes.pdf che viene aggiornato ogni settimana circa. Vengono fornite anche le funzioni R per le mappe degli autovigiani lapaciani. Provalo tu stesso. Puoi anche prendere in considerazione questo articolo di Belkin

Grazie Abhik Studente del Prof Trosset

A differenza della PCA, le autovapi lappocardiche usano gli autovettori generalizzati corrispondenti agli autovalori più piccoli. Salta il vettore eigen con il valore di eigen più piccolo (potrebbe essere zero) e utilizza i vettori di eigen corrispondenti ai successivi pochi valori di eigen più piccoli. PCA è una varianza massima che preserva l'incorporamento usando la matrice kernel / gram. L'automappa lapaciana si pone più come un problema di minimizzazione rispetto al laplacian grafico combinatorio (fare riferimento a articoli di Trosset).