Determinare rapidamente se una matrice densa è di livello inferiore

13

In un progetto software a cui sto lavorando, alcuni calcoli sono molto più facili per matrici dense di basso rango. Alcune istanze problematiche coinvolgono dense matrici di basso rango, ma mi vengono fornite per intero, piuttosto che come fattori, quindi dovrò controllare il rango e fatturare la matrice se voglio sfruttare la struttura di basso rango .

Le matrici in questione sono in genere completamente o quasi completamente dense, con n che vanno da cento a qualche migliaio. Se una matrice ha un rango basso (diciamo meno di 5 a 10), vale la pena calcolare il SVD e usarlo per una fattorizzazione di basso rango. Tuttavia, se la matrice non è di basso rango, lo sforzo sarebbe sprecato.

Quindi mi piacerebbe trovare un modo rapido e ragionevolmente affidabile per determinare se il grado è basso o meno prima di investire lo sforzo di fare una piena fattorizzazione SVD. Se in qualsiasi momento diventa chiaro che il rango è al di sopra del valore soglia, il processo può arrestarsi immediatamente. Se la procedura dichiara erroneamente che la matrice è di livello basso quando non lo è, questo non è un grosso problema, dal momento che farei comunque un SVD completo per confermare il livello basso e trovare una fattorizzazione di basso livello.

Le opzioni che ho considerato includono una classifica che rivela la fattorizzazione LU o QR seguita da un SVD completo come controllo. Ci sono altri approcci che dovrei considerare?

— Brian Borchers
fonte

8

C'è un trucco che ho imparato recentemente da questo articolo . Inizi a fare QR rivelatori di rango e ti fermi dopo le prime Riflessioni dei proprietari di casa, quando hai una matrice della forma con triangolare di dimensione , e genere no triangolare (da quando ci siamo fermati dopo le prime iterazioni del nostro ciclo principale). A questo punto, controlli se : se tiene, quindi $k$

[\begin{matrix} R_{1} & R_{12} \\ 0 & R_{22} \end{matrix}],

$\begin{bmatrix} R_1 & R_{12}\\ 0 & R_{22} \end{bmatrix},$

R_{1}

$R_1$

k \times k

$k\times k$

R_{22}

$R_{22}$

k

$k$

‖ R_{22} ‖ \leq ε

$\|R_{22}\| \leq \varepsilon$

A

$A$ è al massimo

da una matrice di rango

; altrimenti non dovrebbe essere (salvo errori numerici).

ε

$\varepsilon$

\leq k

$\leq k$

Questa procedura costa per una matrice densa . $O(n^2k)$ $n\times n$

— Federico Poloni
fonte

Questo è essenzialmente l'approccio che ho descritto nella domanda. Penso che la risposta proposta da Wolfgang Bangerth potrebbe fare meglio di

.

O (n^{2} k)

$O(n^{2}k)$

— Brian Borchers,

7

Il problema, ovviamente, è che il calcolo del rango reale (ad es. Tramite una decomposizione QR) non è in realtà più economico del calcolo di una rappresentazione di basso rango della matrice.

Il meglio che puoi probabilmente fare è usare un algoritmo randomizzato per trovare approssimazioni di basso rango. Questi possono, almeno in teoria, essere significativamente più veloci di lavorare sull'intera matrice perché, in sostanza, calcolano solo le decomposizioni per le proiezioni della matrice su sottospazi casuali.

$100\times 100$

— Wolfgang Bangerth
fonte

Da quello che so di questi algoritmi, producono una matrice di basso rango che è ragionevolmente vicina alla norma alla matrice data. Ho bisogno di sapere se c'è o meno una matrice di grado 10 (o meno) molto vicina alla matrice data (diciamo un errore relativo di 1.0e-10 o migliore).

— Brian Borchers

Sì, ma puoi anche effettuare una decomposizione QR della matrice proiettata (a bassa dimensione) e se tale decomposizione rivela una mancanza di rango completo, avrai anche una matrice originale carente di rango. Non era questo il criterio di cui avevi bisogno per fare una decomposizione QR sulla matrice originale?

— Wolfgang Bangerth,

k

$k$

k

$k$

k - 1

$k-1$

k

$k$

A

$A$

k

$k$

k

$k$

n

$n$

O (k^{2} n)

$O(k^{2}n)$

A

$A$

O (k n^{2})

$O(kn^{2})$

k = n

$k=n$

k

$k$

k n^{2} ≪ n^{3}

$kn^2\ll n^3$

1

Un altro approccio che vale la pena provare è usare l'Adaptive Cross Approximation (ACA). È un algoritmo piuttosto popolare che ha molte implementazioni disponibili online. Per riferimento, puoi vedere il documento originale:

SA Goreinov, EE Tyrtyshnikov, NL Zamarashkin, "Una teoria delle approssimazioni pseudoscheletriche", Linear Algebra Appl. , vol. 261, n. 1–3, pagg. 1–21, agosto 1997.

L'ACA e le sue variazioni (diciamo, ACA +, ibrido di approssimazione incrociata HCA) possono essere utilizzate in diversi scenari. Tu, avendo già calcolata l'intera matrice densa, sei uno dei favorevoli, poiché sarai in grado di calcolare i residui esattamente se necessario.

$\mathcal O(Nr)$ $N$ $r(\epsilon)$ $r$ $\epsilon$ $\mathcal O(N^2r)$

— Anton Menshov
fonte

0

$A$ $\to 0$ $x \to A \, x$ $A$ $A^T A$

$( A^T A ) \to$ $A$

from scipy.sparse.linalg import svds
sing = svds( A, k=20, tol=1e-4, return_singular_vectors=False )  # v0=random
# runtimes on random-normal n x n:
# n = 100, 1k, 2k
#       5, 130, 770 ms

— Denis
fonte