Requisiti di memoria per una rapida moltiplicazione della matrice

12

Supponiamo di voler moltiplicare matrici . L'algoritmo di moltiplicazione a matrice lenta viene eseguito nel tempo e utilizza la memoria . La moltiplicazione della matrice più veloce viene eseguita nel tempo , dove è la costante di algebra lineare, ma cosa si sa della sua complessità di memoria? $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

Sembra che possa essere possibile a priori che la moltiplicazione a matrice rapida consumi memoria. C'è qualche garanzia che possa essere fatto nella memoria ? Gli algoritmi di moltiplicazione di matrici attualmente noti utilizzano la memoria ? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(In realtà sono interessato alla moltiplicazione della matrice rettangolare, ma presumo che la risposta sarebbe la stessa in quel caso del caso quadrato, e il caso quadrato è meglio studiato.)

ds.algorithms linear-algebra

— David Harris
fonte

16

L'uso dello spazio è al massimo per tutti gli algoritmi simili a Strassen (ovvero quelli basati sul limite superiore del grado di moltiplicazione della matrice algebricamente). Vedi Complessità spaziale dell'algoritmo Coppersmith – Winograd $O(n^2)$

Tuttavia, nella mia precedente risposta mi sono reso conto che non avevo spiegato perché l'uso dello spazio fosse ... quindi qui va qualcosa di ondulato a mano. Considera cosa fa un algoritmo simile a Strassen. Si parte da un algoritmo fisso per la moltiplicazione della matrice che utilizza le moltiplicazioni per una costante . In particolare, questo algoritmo (qualunque esso sia) può essere scritto WLOG in modo che: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

Si calcola diverse matrici quali voci moltiplicano della prima matrice di vari scalari e matrici dalla seconda matrice di una forma simile, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
Si moltiplica quelli lineare combinazioni , allora $L_i \cdot R_i$
Moltiplica inserimenti di da vari scalari, poi aggiunge tutte queste matrici fino entrywise avere . $L_i \cdot R_i$ $A \cdot B$

(Questo è un cosiddetto algoritmo "bilineare", ma si scopre che ogni algoritmo moltiplicazione matriciale "algebrico" può essere scritto in questo modo.) Per ogni , questo algoritmo deve solo memorizzare il prodotto attuale e il valore corrente di (inizialmente impostato su tutti gli zero) in memoria in un dato punto, quindi l'utilizzo dello spazio è . $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

Dato questo algoritmo finito, viene quindi esteso alle matrici arbitrarie , suddividendo le matrici grandi in blocchi di dimensioni , applicando l' algoritmo finito al blocco matrici e chiamando ricorsivamente l'algoritmo ogni volta che è necessario moltiplicare due blocchi. Ad ogni livello di ricorsione, dobbiamo tenere in memoria solo gli elementi di campo (memorizzazione di $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ diverse matrici ). Supponendo che lo spazio utilizzato per matrice di moltiplicazione sia , l'utilizzo dello spazio di questo algoritmo ricorsivo è , che per $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ risolve a . $S(\ell) \leq O(K^{2\ell})$

— Ryan Williams
fonte

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

1

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

4

$p$ $O(n^2/p)$

— Alexander Tiskin
fonte