Spazio nullo di una matrice densa rettangolare

Data una matrice densa

A \in R^{m \times n}, m >> n; m a x (m) \approx 100000

$A \in R^{m \times n}, m >> n; max(m) \approx 100000$ qual è il modo migliore per trovare la sua base di spazio nullo entro una certa tolleranza

ϵ

$\epsilon$ ?

Sulla base di tale base, posso quindi dire che alcuni cols sono linearmente dipendenti in $\epsilon$ ? In altre parole, avendo una base di spazio nullo calcolata, quali colonne di $A$ devono essere rimosse per ottenere una matrice non singolare?

I riferimenti sono apprezzati.

linear-algebra

— Alessandro
fonte

Risposte:

I metodi standard per determinare lo spazio nullo di una matrice sono l'uso di una decomposizione QR o un SVD. Se la precisione è fondamentale, si preferisce SVD; la decomposizione QR è più veloce.

Usando SVD, se , allora le colonne di corrispondenti a piccoli valori singolari (cioè piccole voci diagonali di ) costituiscono la base per lo spazio nullo. La tolleranza pertinente qui è ciò che si considera un "piccolo" valore singolare. MATLAB, ad esempio, richiede che il valore minimo sia , dove è correlato alla precisione della macchina (vedere qui nella documentazione di MATLAB ). $A = U\Sigma V^{H}$ $V$ $\Sigma$ $\max(m,n) \cdot \varepsilon$ $\varepsilon$

Usando la decomposizione QR, se , e il rango di è , allora le ultimecolonne di compongono lo spazio nullo di , supponendo che la decomposizione QR sia rivelatrice di rango. Per determinare , calcolare il numero di voci sulla diagonale principale di cui grandezza supera una tolleranza (simile a quella utilizzata nell'approccio SVD). $A^{T} = QR$ $A$ $r$ $n-r$ $Q$ $A$ $r$ $R$

Non utilizzare la decomposizione LU. Nell'aritmetica esatta, è un approccio praticabile, ma con l'aritmetica in virgola mobile, l'accumulo di errori numerici lo rende inaccurato.

Wikipedia tratta questi argomenti qui .

— Geoff Oxberry
fonte

Geoff, parlando in termini di QR, supponiamo che io abbia la decomposizione, come posso quindi collegare la base dello spazio null e le colonne nella matrice originale? In altre parole, da quali colonne devo rimuovere

per eliminare lo spazio nullo? Il punto qui è lavorare con

stesso e non con la sua decomposizione.

A

$A$

A

$A$

— Alexander,

Le routine che calcolano la decomposizione QR normalmente includono un'opzione per restituire un vettore di permutazione che indica come le colonne sono permutate per ottenere la fattorizzazione QR. Le ultime voci

di quel vettore di permutazione corrisponderebbero alle righe di

(colonne di

) che si trovano nello spazio nullo. Le prime voci

di quel vettore corrispondono alle colonne di

n - r

$n-r$

A

$A$

A^{T}

$A^{T}$

r

$r$

che sono linearmente indipendenti. Non sono sicuro di cosa intendi per "sbarazzarsi dello spazio nullo". Vuoi dire che vuoi rimuovere le colonne di

per ottenere una matrice non singolare?

A^{T}

$A^{T}$

A

$A$

— Geoff Oxberry,

Sì, intendo quello. Guarderò la permutazione, grazie.

— Alexander,

Questa è una domanda diversa. Che si sarebbe poi fare invece è calcolare la decomposizione QR (o SVD) di

. Se si calcola la decomposizione QR di

, è possibile calcolare il rango di

come nella risposta sopra (non è necessario trasporre la matrice), quindi le prime voci

(dove

è il rango di

) del vettore di permutazione corrispondono alle colonne indipendenti di

. Lo stesso tipo di algoritmo si applica a SVD; se è possibile restituire un vettore di permutazione insieme alla decomposizione, ciò dovrebbe fornire le informazioni necessarie.

A

$A$

A

$A$

A

$A$

r

$r$

r

$r$

A

$A$

A

$A$

— Geoff Oxberry,

Se , come la tua domanda indica, è possibile risparmiare un po 'di lavoro in primo luogo la scelta di un insieme di indici di (diciamo) file casuali e utilizzando la fattorizzazione ortogonale . (La fattorizzazione QR è quella in cui è quadrata e è rettangolare del rango , e le restanti colonne di sono zero. L'uso di una fattorizzazione QR permutata migliorerà la stabilità; la permutazione deve quindi essere considerata in un ricetta più dettagliata.) $m\gg n$ $I$ $p\approx 5n$ $A_{I:}^T=QR$ $Q$ $R$ $r$ $n-r$ $R$

In genere, questo vi darà un sottospazio molto più basso dimensionale attraversato dalle colonne di , l'ultima colonne di . Questo sottospazio contiene lo spazio nullo di . Ora scegliere un altro, disgiunte set indice casuale e calcolare la fattorizzazione QR di . Moltiplica lo spazio nullo risultante a sinistra per per ottenere una migliorata di dimensione probabilmente anche inferiore. Iterate fino a quando la dimensione di non diminuisce più. Quindi probabilmente hai lo spazio nullo corretto e puoi verificare calcolando $N$ $n-r$ $Q$ $A$ $(A_{I:}N)^T$ $N$ $N$ $N$ $AN$ . Se ciò non è ancora trascurabile, eseguire ulteriori iterazioni con le righe più significative.

Modifica: una volta che hai , puoi trovare un insieme massimo di colonne linearmente indipendenti di mediante una fattorizzazione ortogonale di con perno. In effetti, l'insieme di indici non scelti come pivot avrà questa proprietà. $N$ $J$ $A$ $N^T=QR$ $J$

— Arnold Neumaier
fonte

+1 per un modo efficiente per determinare lo spazio nullo di una matrice di grandi dimensioni. Dovrò ricordare di consultare questa risposta più tardi quando ne avrò bisogno.

— Geoff Oxberry,

In effetti, sembra ragionevole, tuttavia le mie matrici si adattano a 16 GB di RAM, quindi rimarrei con il matlab standard qr.

— Alexander,

Prof. Neumaier, ho deciso di testare questo algoritmo, ma non capisco esattamente cosa sia

e cosa significhi "calcolare la fattorizzazione QR di

"? Potresti spiegare un po 'di più.

N

$N$

(A_{I :} N)^{T}

$(A_{I:}N)^T$

— Alexander

Ho modificato un po 'la mia risposta.

è calcolato dalla ricetta di Geoff Oxberry.

N

$N$

— Arnold Neumaier,

Grazie. L'ho implementato. Tuttavia, per quanto vedo, questo algoritmo non permette di definire me un insieme di colonne linearmente indipendenti di

(dal scomponiamo

piuttosto che

), ma solo aiuta a stimare base spazio nullo se stessa?

A

$A$

A_{I :}^{T}

$A_{I:}^T$

A_{I :}

$A_{I:}$

— Alexander