Spiegare i passaggi dell'algoritmo LLE (local linear embedding)?

Comprendo che il principio di base dietro l'algoritmo per LLE consiste in tre passaggi.

1. Individuazione del vicinato di ciascun punto dati mediante una metrica come k-nn.
2. Trova pesi per ciascun vicino che denotano l'effetto che il vicino ha sul punto dati.
3. Costruire l'incorporamento a bassa dimensione dei dati in base ai pesi calcolati.

Ma la spiegazione matematica dei passaggi 2 e 3 è confusa in tutti i libri di testo e le risorse online che ho letto. Non sono in grado di ragionare sul perché vengano utilizzate le formule.

Come vengono eseguiti in pratica questi passaggi? Esiste un modo intuitivo per spiegare le formule matematiche utilizzate?

Riferimenti: http://www.cs.nyu.edu/~roweis/lle/publications.html

L'incorporamento lineare locale (LLE) elimina la necessità di stimare la distanza tra oggetti distanti e recupera la struttura non lineare globale mediante adattamenti lineari locali. LLE è vantaggioso perché non comporta parametri come tassi di apprendimento o criteri di convergenza. LLE si adatta bene anche alla dimensione intrinseca di . La funzione obiettivo per LLE è La matrice di peso elementi per gli oggetti e sono impostati a zero se$\mathbf{Y}$

$$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$$ $\mathbf{W}$$w_{ij}$$i$$j$$j$non è il vicino più vicino di , altrimenti i pesi per i vicini K-vicini dell'oggetto sono determinati mediante un minimo di adattamenti di dove la variabile dipendente è un vettore di uno, è una matrice Gram per tutti i vicini più vicini dell'oggetto e è un vettore di pesi che seguono vincoli di somma in unità. Sia un semidefinito positivo simmetrico$i$$i$ $$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$$ $\mathbf{U}$$K \times 1$$\mathbf{G}$$K \times K$$i$$\boldsymbol{\beta}$$K \times 1$$\mathbf{D}$$K \times K$p x i G τ τ l m = - 1matrice della distanza per tutte le coppie dei vicini K-più vicini dell'oggetto -dimensionale . Si può dimostrare che è uguale alla matrice della distanza doppiamente centrata con elementi I coefficienti di regressione sono determinati numericamente usando $p$$\mathbf{x}_i$$\mathbf{G}$$\boldsymbol{\tau}$ $$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$$ $K$ $$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$$ e vengono controllati per confermare che si sommano all'unità. I valori di sono incorporati nella riga di nelle varie posizioni della colonna corrispondenti ai vicini K più vicini dell'oggetto , nonché agli elementi di trasposizione. Questo si ripete per ogni esimo oggetto nell'insieme di dati. Vale la pena notare che se il numero dei vicini più vicini è troppo basso, allora può essere scarso e rendere difficile l'autovalisi. È stato osservato che vicini più vicini hanno portato a$\boldsymbol{\beta}$$i$$\mathbf{W}$$i$$i$$K$$\mathbf{W}$$K=9$$\mathbf{W}$matrici che non contenevano patologie durante l'autovalisi. La funzione obiettiva viene minimizzata trovando gli autovalori non zero più piccoli di La forma ridotta di è rappresentata da dove ha dimensioni basate sui due autovalori più bassi di . $$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$$ $\mathbf{X}$$\mathbf{Y}=\mathbf{E}$$\mathbf{E}$$n \times 2$$\boldsymbol{\Lambda}$