Quanta regolarizzazione aggiungere per rendere stabile SVD?

Ho usato SVD di Intel MKL ( dgesvdtramite SciPy) e ho notato che i risultati sono significativamente diversi quando cambio precisione tra float32e float64quando la mia matrice è mal condizionata / non di rango massimo. Esiste una guida sulla quantità minima di regolarizzazione da aggiungere per rendere insensibili i risultati a float32-> float64modifica?

In particolare, facendo , vedo che la norma di sposta di circa 1 quando cambio precisione tra e . norma di è e ha circa 200 autovalori zero su 784 totali. $A=UDV^{T}$ $L_\infty$ $V^{T}X$ float32float64 $L_2$ $A$ $10^5$

Fare SVD su con fatto svanire la differenza. $\lambda I + A$ $\lambda=10^{-3}$

— Yaroslav Bulatov
fonte

Qual è la dimensione

di un

matrice

per questo esempio (è ancora una matrice quadrata)? 200 zero autovalori o valori singolari? Una norma di Frobenius

per un esempio rappresentativo sarebbe anche utile.

N

$N$

N \times N

$N\times N$

A

$A$

| | A | |_{F}

$||A||_\text{F}$

— Anton Menshov

In questo caso matrice 784 x 784, ma sono più interessato alla tecnica generale per trovare un buon valore di lambda

— Yaroslav Bulatov

Quindi, la differenza in

solo nelle ultime colonne corrisponde agli zero valori singolari?

V

$V$

— Nick Alger,

Se esistono diversi valori singolari uguali, svd non è univoco. Nel tuo esempio, suppongo che il problema derivi dai multipli zero valori singolari e che una diversa precisione porti a una scelta diversa della base per il rispettivo spazio singolare. Non so perché questo cambi quando regolarizzi ...

— Dirk,

... che cos'è

X

$X$

— Federico Poloni,

Risposte:

Sebbene la domanda abbia un'ottima risposta, ecco una regola empirica per piccoli valori singolari, con una trama.

Se un valore singolare è diverso da zero ma molto piccolo, è necessario definirne il reciproco come zero, poiché il suo valore apparente è probabilmente un artefatto di errore di arrotondamento, non un numero significativo. Una plausibile risposta alla domanda "quanto è piccolo?" consiste nel modificare in questo modo tutti i valori singolari il cui rapporto con il più grande è inferiore di volte la precisione della macchina . $N$ $\epsilon$

$\qquad$ - Ricette numeriche p. 795

Aggiunto: la seguente coppia di righe calcola questa regola empirica.

#!/usr/bin/env python2

from __future__ import division
import numpy as np
from scipy.sparse.linalg import svds  # sparse, dense or LinOp

#...............................................................................
def howsmall( A, singmax=None ):
    """ singular values < N float_eps sing_max  may be iffy, questionable
        "How small is small ?"
        [Numerical Recipes p. 795](http://apps.nrbook.com/empanel/index.html?pg=795)
    """
        # print "%d singular values are small, iffy" % (sing < howsmall(A)).sum()
        # small |eigenvalues| too ?
    if singmax is None:
        singmax = svds( A, 1, return_singular_vectors=False )[0]  # v0=random

    return max( A.shape ) * np.finfo( A.dtype ).eps * singmax

La matrice di Hilbert sembra essere ampiamente utilizzata come test per l'errore di arrotondamento:

Qui i bit di ordine inferiore nelle mantisse della matrice di Hilbert vengono azzerati A.astype(np.float__).astype(np.float64), quindi np.linalg.svdviene eseguito float64. (I risultati sono quasi svdtutti float32uguali.)

Il semplice troncamento a float32potrebbe anche essere utile per denigrare i dati ad alta dimensione, ad esempio per la classificazione dei treni / prove.

Casi di test reali sarebbero i benvenuti.

— Denis
fonte

tra l'altro, scipy sembra aggiungere un fattore 1e3 per float32 e 1e6 per float64, curioso da dove provengano

— Yaroslav Bulatov,

@Yaroslav Bulatov, numpye scipy.linalg.svdchiama LAPACK gesdd , vedi il parametro JOBRin dgejsv: "Specifica la GAMMA per i valori singolari. Emette la licenza per impostare a zero piccoli valori singolari positivi se sono all'esterno ..." ( scipy.sparse.linalg.svdsavvolge ARPACK e ha un parametro tol, Tolerance per valori singolari.)

— denis

$A=A^{T}$ $M=U \Sigma V^T$

H = [\begin{matrix} 0 & M \\ M^{T} & 0 \end{matrix}] = [\begin{matrix} U & 0 \\ 0 & V \end{matrix}] [\begin{matrix} 0 & Σ \\ Σ & 0 \end{matrix}] {[\begin{matrix} U & 0 \\ 0 & V \end{matrix}]}^{T}

$H=\begin{bmatrix}0 & M\\ M^{T} & 0 \end{bmatrix}=\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}\begin{bmatrix}0 & \Sigma\\ \Sigma & 0 \end{bmatrix}\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}^{T}$

$\epsilon>0$

A_{ϵ} = [\begin{matrix} 1 & ϵ \\ ϵ & 1 \end{matrix}] = V Λ_{ϵ} V^{T}, B_{ϵ} = [\begin{matrix} 1 + ϵ & 0 \\ 0 & 1 - ϵ \end{matrix}] = U Λ_{ϵ} U^{T}

$A_{\epsilon}=\begin{bmatrix}1 & \epsilon\\ \epsilon & 1 \end{bmatrix}=V\Lambda_{\epsilon}V^{T},\qquad B_{\epsilon}=\begin{bmatrix}1+\epsilon & 0\\ 0 & 1-\epsilon \end{bmatrix}=U\Lambda_{\epsilon}U^{T}$

Λ_{ϵ} = d i a g (1 + ϵ, 1 - ϵ)

$\Lambda_{\epsilon}=\mathrm{diag}(1+\epsilon,1-\epsilon)$

V = \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}], U = [\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}] .

$V=\frac{1}{\sqrt{2}}\begin{bmatrix}1 & 1\\ 1 & -1 \end{bmatrix},\qquad U=\begin{bmatrix}1 & 0\\ 0 & 1 \end{bmatrix}.$

A_{ϵ} \approx B_{ϵ}

$A_{\epsilon} \approx B_{\epsilon}$

V

$V$

U

$U$

ϵ > 0

$\epsilon>0$

U, V

$U,V$

U \approx V

$U\approx V$

$M_{0}=U_{0}\Sigma_{0}V_{0}^{T}$ float64 $M_{\epsilon}=U_{\epsilon}\Sigma_{\epsilon}V_{\epsilon}^{T}$ float32 $\Sigma_{0},\Sigma_{\epsilon}$ $\epsilon\approx10^{-7}$ $U_{0},U_{\epsilon}$ $V_{0},V_{\epsilon}$

— Richard Zhang
fonte

Questo esempio è tratto da: users.math.msu.edu/users/markiwen/Teaching/MTH995/Papers/… ?

— Memming

È un ottimo riferimento. Non lo so, ho imparato questo particolare esempio molti anni fa durante le lezioni di matematica :-)

— Richard Zhang,