Quale norma dell'errore di ricostruzione è minimizzata dalla matrice di approssimazione di basso rango ottenuta con PCA?

Dato un PCA (o SVD) ravvicinamento delle matrici $X$ con una matrice , sappiamo che è la migliore approssimazione basso rango di . $\hat X$ $\hat X$ $X$

È questo secondo la norma indotta $\parallel \cdot \parallel_2$ (ovvero la più grande norma sugli autovalori) o secondo la norma Frobenius $\parallel \cdot \parallel_F$ ?

pca svd matrix-decomposition

— Donbeo
fonte

Risposta di una sola parola: entrambe.

$X$ $2$

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m a x (s_{i})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

‖ X ‖_{F} = \sqrt{\sum_{i j} X_{i j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{i}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

PCA è dato dalla stessa scomposizione del valore singolare quando i dati sono centrati. sono componenti principali, sono assi principali, vale a dire autovettori della matrice di covarianza, e la ricostruzione di con solo i componenti principali corrispondenti ai valori singolari più grandi è data da . $US$ $V$ $X$ $k$ $k$ $X_k = U_k S_k V_k^\top$

Il teorema di Eckart-Young afferma che è la matrice che minimizza la norma dell'errore di ricostruzionetra tutte le matrici di grado . Ciò vale sia per la norma Frobenius che per l'operatore -norm. Come sottolineato da @cardinal nei commenti, fu dimostrato per la prima volta da Schmidt (di fama Gram-Schmidt) nel 1907 per il caso Frobenius. In seguito fu riscoperto da Eckart e Young nel 1936 ed è ora per lo più associato ai loro nomi. Mirsky generalizzò il teorema nel 1958 a tutte le norme invarianti sotto trasformazioni unitarie, e questo include l'operatore 2-norma. $X_k$ $\|X-A\|$ $A$ $k$ $2$

Questo teorema viene talvolta chiamato teorema di Eckart-Young-Mirsky. Stewart (1993) lo chiama teorema di approssimazione di Schmidt. L'ho persino visto chiamato teorema di Schmidt-Eckart-Young-Mirsky.

Eckart and Young, 1936, L'approssimazione di una matrice con un'altra di rango inferiore
Mirsky, 1958, funzioni simmetriche del calibro e norme unitariamente invarianti
Stewart, 1993, Sulla storia antica della scomposizione del valore singolare

Prova per l'operatore -norm $2$

Sia di rango massimo . Poiché è di rango , il suo spazio nullo ha dimensioni . Lo spazio attraversato dai vettori singolari di destra di corrispondenti ai valori singolari più grandi ha dimensioni . Quindi questi due spazi devono intersecarsi. Sia un vettore unitario dall'intersezione. Quindi otteniamo: QED. $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ X - A ‖_{2}^{2} \geq ‖ (X - A) w ‖_{2}^{2} = ‖ X w ‖_{2}^{2} = \sum_{i = 1}^{k + 1} s_{i}^{2} (v_{i}^{⊤} w)^{2} \geq s_{k + 1}^{2} = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

Prova per la norma Frobenius

Vogliamo trovare la matrice di grado che minimizzi . Possiamo fattorizzare , dove ha colonne ortonormali. Ridurre a icona per fisso è un problema di regressione con la soluzione . Collegandolo, vediamo che ora dobbiamo minimizzare dove è la matrice di covarianza di , ovvero $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$

‖ X - X W W^{⊤} ‖^{2} = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = c o n s t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = c o n s t - c o n s t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$ . Questo significa che l'errore di ricostruzione viene minimizzato prendendo come colonne di qualche ortonormale vettori massimizzare la varianza totale della proiezione.

W

$W$

k

$k$

È noto che si tratta dei primi autovettori della matrice di covarianza. Infatti, se , allora . Scrivendo che ha anche colonne ortonormali, otteniamo con il massimo raggiunto quando . Il teorema quindi segue immediatamente. $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

t r (W^{⊤} Σ W) = t r (R^{⊤} Λ R) = \underset{io}{Σ} λ_{io} \underset{j}{Σ} R_{io j}^{2} \leq Σ_{io = 1}^{K} λ_{K},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

Vedi i seguenti tre thread correlati:

Tentativo precedente di una prova per la norma di Frobenius

Questa prova l'ho trovata da qualche parte online ma è errata (contiene un vuoto), come spiegato da @cardinal nei commenti.

La norma di Frobenius è invariante nelle trasformazioni unitarie, perché non cambia i valori singolari. Quindi otteniamo: dove . Continua:Questo è minimizzato quando tutti gli elementi off-diagonali di sono zero e tutti i termini diagonali annullano i valori singolari più grandi [gap qui: questo non è ovvio] , cioè e quindi .

‖ X - A ‖_{F} = ‖ U S V^{⊤} - A ‖ = ‖ S - U^{⊤} A V ‖ = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - A ‖_{F} = \sum_{i j} (S_{i j} - B_{i j})^{2} = \sum_{i} (s_{i} - B_{i i})^{2} + \sum_{i \neq j} B_{i j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— ameba dice Reinstate Monica
fonte

La prova nel caso della norma Frobeniius non è corretta (o almeno completa) poiché l'argomento qui non preclude la possibilità che una matrice dello stesso rango possa cancellare alcuni degli altri termini diagonali pur avendo "piccolo" off- diagonali. Per vedere più chiaramente il gap, tenere costante la diagonale e "azzerare" le off-diagonali può spesso aumentare il grado della matrice in questione!

— cardinale il

Si noti anche che l'SVD era noto a Beltrami (almeno in un caso abbastanza generale, anche se speciale) e alla Giordania già nel 1874.

— Cardinale

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— ameba dice Reinstate Monica il

Io faccio come GW Stewart (1993), sulla storia delle prime della decomposizione in valori singolari, SIAM Review , vol. 35, n. 4, 551-566 e, visto il tuo precedente interesse dimostrato per le questioni storiche, penso che lo farai anche tu. Sfortunatamente, penso che Stewart sia involontariamente eccessivamente sprezzante per l'eleganza della prova di Schmidt del 1907. Nascosta al suo interno c'è un'interpretazione di regressione che Stewart trascura e che è davvero piuttosto carina. C'è un'altra prova che segue l'approccio di diagonalizzazione iniziale adottato, ma che richiede un lavoro extra per colmare il divario. (cont.)

— cardinale

@cardinal: Sì, hai ragione, ora vedo anche il divario. Grazie mille per il documento Stewart, è stata una lettura molto interessante. Vedo che Stewart presenta le prove di Schmidt e Weyl, ma entrambe sembrano più complicate di quelle che vorrei copiare qui (e finora non ho avuto il tempo di studiarle attentamente). Sono sorpreso: mi aspettavo che questo fosse un risultato molto semplice, ma sembra che sia meno banale di quanto pensassi. In particolare, non mi sarei aspettato che il caso Frobenius fosse molto più complicato di quello dell'operatore. Modificherò il post ora. Felice anno nuovo!

— ameba dice di reintegrare Monica il

Quale norma dell'errore di ricostruzione è minimizzata dalla matrice di approssimazione di basso rango ottenuta con PCA?

Risposta di una sola parola: entrambe.

Prova per l'operatore -norm222

Prova per la norma Frobenius

Tentativo precedente di una prova per la norma di Frobenius

Prova per l'operatore -norm $2$