Perché non riesco a ottenere un SVD valido di X tramite decomposizione autovalore di XX 'e X'X?

Sto cercando di fare SVD a mano:

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

Ma l'ultima riga non ritorna mindietro. Perché? Sembra avere qualcosa a che fare con i segni di questi autovettori ... O ho frainteso la procedura?

r svd eigenvalues

— failedstatistician
fonte

Vedi stats.stackexchange.com/search?q=svd+sign .

— whuber

Mi è stato ripetutamente detto che il segno non ha importanza negli SVD ... in questo modo

— artista fallito

@Amoeba Grazie per averlo chiarito. Mi stavo concentrando sulla domanda inglese piuttosto che sul codice. Statista fallito: vedi cosa D=diag(c(-1,1,1)*sqrt(eigen(m%*%t(m))$values))fa e tieni a mente che la radice quadrata (così come qualsiasi autovettore normalizzato) è definita solo per firmare. Per ulteriori informazioni, passare ma m <- matrix(-2,1,1)e includere ,1,1)alla fine di ciascuna delle chiamate a diag. Questo è un esempio che crea lo stesso problema, ma è così semplice che la natura del problema diventerà completamente ovvia.

1 \times 1

$1\times 1$

— whuber

Fatto. Grazie! Hai una regola generale per determinare il vettore c (-1, 1, 1)? O come dovrebbero essere collegati i segni delle due decomposizioni?

— artista fallito

Nota che il trucco di @ whuber c(-1,1,1)funziona, ma Ddefinito in questo modo non ti dà valori singolari. I valori singolari devono essere tutti positivi per definizione. La domanda su come collegare i segni di Ued Vè buona, e non ho una risposta. Perché non fai un SVD? :-)

— amoeba,

Risposte:

Analisi del problema

L'SVD di una matrice non è mai unico. Lascia che la matrice abbia dimensioni e lascia che sia il suo SVD $A$ $n\times k$

A = U D V^{'}

$A = U D V^\prime$

per matrice con colonne ortonormali, una diagonale matrice con ingressi non negativi, e un matrice con colonne ortonormali. $n\times p$ $U$ $p\times p$ $D$ $k\times p$ $V$

Ora scegliere, in modo arbitrario , qualsiasi diagonale matrice avendo s sulla diagonale, in modo che è il identità . Poi $p\times p$ $S$ $\pm 1$ $S^2 = I$ $p\times p$ $I_p$

A = U D V^{'} = U I D I V^{'} = U (S^{2}) D (S^{2}) V^{'} = (U S) (S D S) (V S)^{'}

$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$

è anche un SVD di perché dimostra che gli hanno colonne ortonormali e un calcolo simile dimostra che ha colonne ortonormali. Inoltre, poiché e sono diagonali, commutano, da dove mostra che ha ancora voci non negative. $A$

(U S)^{'} (U S) = S^{'} U^{'} U S = S^{'} I_{p} S = S^{'} S = S^{2} = I_{p}

$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$

U S

$US$

V S

$VS$

S

$S$

D

$D$

S D S = D S^{2} = D

$S D S = DS^2 = D$

D

$D$

Il metodo implementato nel codice per trovare un SVD trova una che diagonale e, analogamente, una che diagonale Procede con il calcolo di in termini di autovalori trovati in . Il problema è questo non assicura una corrispondenza coerente delle colonne di con le colonne di . $U$

A A^{'} = (U D V^{'}) (U D V^{'})^{'} = U D V^{'} V D^{'} U^{'} = U D^{2} U^{'}

$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$

V

$V$

A^{'} A = V D^{2} V^{'} .

$A^\prime A = VD^2V^\prime.$

D

$D$

D^{2}

$D^2$ $U$ $V$

Una soluzione

Invece, dopo aver trovato una tale e una tale , usale per calcolare $U$ $V$

U^{'} A V = U^{'} (U D V^{'}) V = (U^{'} U) D (V^{'} V) = D

$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$

direttamente ed efficientemente. I valori diagonali di questa non sono necessariamente positivi. $D$ (Questo perché non c'è nulla nel processo di diagonalizzazione di o che garantirà che, poiché quei due processi sono stati eseguiti separatamente.) Rendili positivi scegliendo le voci lungo la diagonale di per eguagliare i segni delle voci di , in modo che abbia tutti i valori positivi. Compensa questo moltiplicando a destra per : $A^\prime A$ $AA^\prime$ $S$ $D$ $SD$ $U$ $S$

A = U D V^{'} = (U S) (S D) V^{'} .

$A = U D V^\prime = (US) (SD) V^\prime.$

Questo è un SVD.

Esempio

Sia con . Un SVD è $n=p=k=1$ $A=(-2)$

(- 2) = (1) (2) (- 1)

$(-2) = (1)(2)(-1)$

con , e . $U=(1)$ $D=(2)$ $V=(-1)$

Se diagonalizzi sceglieresti naturalmente e . Allo stesso modo se diagonalizza sceglieresti . Sfortunatamente, Invece, calcola Poiché questo è negativo, impostare . Questo regola in e in . Hai ottenuto che è uno dei due SVD possibili (ma non uguale all'originale!). $A^\prime A = (4)$ $U=(1)$ $D=(\sqrt{4})=(2)$ $AA^\prime=(4)$ $V=(1)$

U D V^{'} = (1) (2) (1) = (2) \neq A .

$UDV^\prime = (1)(2)(1) = (2) \ne A.$

D = U^{'} A V = (1)^{'} (- 2) (1) = (- 2) .

$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$

S = (- 1)

$S=(-1)$

U

$U$

U S = (1) (- 1) = (- 1)

$US = (1)(-1)=(-1)$

D

$D$

S D = (- 1) (- 2) = (2)

$SD = (-1)(-2)=(2)$

A = (- 1) (2) (1),

$A = (-1)(2)(1),$

Codice

Ecco il codice modificato. La sua uscita conferma

Il metodo ricrea mcorrettamente.
$U$ e sono davvero ancora ortonormali. $V$
Ma il risultato non è lo stesso SVD restituito da svd. (Entrambi sono ugualmente validi.)

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

— whuber
fonte

+1. Questo è molto chiaro Aggiungo solo che in pratica è sufficiente calcolare uno Uo Vpoi ottenere un'altra matrice tramite la moltiplicazione con A. In questo modo si eseguono solo una (invece di due) composizioni di eigend e i segni risulteranno giusti.

— amoeba,

@Amoeba Esatto: nello spirito del calcolo manuale di un SVD, che evidentemente è un esercizio educativo, qui non si presta attenzione all'efficienza.

— whuber

Grazie per il tuo gentile aiuto! Penso di aver capito questo problema (finalmente).

— artista fallito

@Federico Grazie per questo promemoria. Hai perfettamente ragione: ho implicitamente supposto che tutti gli autovalori siano distinti, perché in effetti questo sarà quasi sicuramente il caso nelle applicazioni statistiche e ci si abitua a considerare le ambiguità con gli eigenspace "degenerati".

— whuber

Hai ragione, questo è solo un caso marginale, e in effetti uno complicato. In un certo senso, si tratta di un'altra manifestazione dello stesso problema che a delineare nella sua risposta, che questo metodo non garantisce un "matching" tra le colonne di e . Il calcolo dell'SVD a partire dalle composizioni eigend è ancora un ottimo esempio di apprendimento.

U

$U$

V

$V$

— Federico Poloni,

Come ho sottolineato in un commento alla risposta di @ whuber, questo metodo per calcolare SVD non funziona per ogni matrice . Il problema non si limita ai segni.

Il problema è che possono esserci ripetuti autovalori, e in questo caso la composizione genetica di e non è unica e non tutte le scelte di e possono essere utilizzate per recuperare il fattore diagonale dell'SVD. Ad esempio, se prendi una matrice ortogonale non diagonale (ad esempio, ), . Tra tutte le possibili scelte per la matrice autovettore di , verrà restituito , quindi in questo caso non è diagonale. $A'A$ $AA'$ $U$ $V$ $A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$ $AA'=A'A=I$ $I$ eigen $U=V=I$ $U'AV=A$

Intuitivamente, questa è un'altra manifestazione dello stesso problema che @whuber delinea, che deve esserci una "corrispondenza" tra le colonne di e e che calcolare due composizioni di eigend separatamente non lo garantisce. $U$ $V$

Se tutti i valori singolari di sono distinti, la composizione elettronica è unica (fino a ridimensionamento / segni) e il metodo funziona. Nota: non è ancora una buona idea usarlo nel codice di produzione su un computer con aritmetica in virgola mobile, perché quando si formano i prodotti e il risultato calcolato può essere disturbato da una quantità dell'ordine di , dove è la precisione della macchina. Se la grandezza dei valori singolari differisce notevolmente (di più di , approssimativamente), ciò è dannoso per l'accuratezza numerica dei più piccoli. $A$ $A'A$ $AA'$ $\|A\|^2u$ $u \approx 2\times 10^{-16}$ $10^{-8}$

Il calcolo dell'SVD dalle due eigendecomposizioni è un ottimo esempio di apprendimento, ma nella vita reale le applicazioni usano sempre la svdfunzione di R per calcolare la decomposizione del valore singolare.

— Federico Poloni
fonte

Questo commento è un buon consiglio. Si noti, tuttavia, che questo thread non è preoccupato per il modo corretto di calcolare SVD (e credo che nessuno sosterrebbe contro la tua raccomandazione). L'OP accetta implicitamente che svdfunzioni. In effetti, lo usano come standard rispetto al quale confrontare un calcolo manuale, il cui scopo è verificare l'intesa, non sostituirlo svdin alcun modo.

— whuber

@whuber Osservazione corretta; Ho riformulato l'ultimo paragrafo.

— Federico Poloni,