Programmazione lineare con vincoli di matrice

Panoramica

Si potrebbe desiderare di provare una variante del alternata Indicazioni metodo dei moltiplicatori (ADMM), che è stato trovato a convergere con sorprendente rapidità per $l_1$ problemi di tipo lazo. La strategia è quella di formulare il problema con un Lagrangiano aumentato e quindi effettuare un'ascesa a gradiente sul doppio problema. È particolarmente piacevole per questo particolare $l^1$ problema regolarizzata perché la parte nonsmooth di ogni iterazione del metodo ha una soluzione esatta si può semplicemente valutare elemento per elemento, mentre la parte liscia comporta la soluzione di un sistema lineare.

In questo post noi

ricavare una formulazione ADMM generale per una generalizzazione del problema,
derivare i sottoproblemi per ogni iterazione di ADMM e specializzarli nella propria situazione, quindi
studiare il sistema lineare risultante che deve essere risolto ogni iterazione, e sviluppare un risolutore veloce (o precondizionatore) in base precomputing decomposizioni autovalori (o approssimazioni di basso rango thereof) per $M^TM$ e $YY^T$ .
riassumere con alcune osservazioni conclusive

La maggior parte delle grandi idee qui sono trattate nel seguente eccellente documento di revisione,

Boyd, Stephen, et al. "Ottimizzazione distribuita e apprendimento statistico tramite il metodo della direzione alternata dei moltiplicatori." Foundations and Trends® in Machine Learning 3.1 (2011): 1-122. http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

Prima di entrare nei dettagli, voglio notare che questa è una risposta metodo / algoritmo, non una risposta pratica al codice esistente: se si desidera utilizzare questo metodo, è necessario implementare la propria implementazione.

Formulazione ADMM

In generale, supponiamo di voler risolvere

\begin{aligned} min_{X} & \underset{io}{Σ} | X_{io} | \\ st & UN X = B \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

Il problema nel post originale rientra in questa categoria dopo un'appropriata vettorializzazione. (questo è solo in linea di principio - vedremo che la vettorializzazione non deve essere eseguita in pratica)

Potresti invece risolvere il problema equivalente, che ha Lagrangiano

\begin{aligned} min_{X, z} & \underset{io}{Σ} | X_{io} | + \frac{α}{2} | | X - z | |^{2} + \frac{β}{2} | | UN z - B | |^{2} \\ st & UN z = B \\ & & X = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (X, z, λ, γ) = & \underset{io}{Σ} | X_{io} | + \frac{α}{2} | | X - z | |^{2} + \frac{β}{2} | | UN z - B | |^{2} + λ^{T} (UN z - B) + γ^{T} (X - z) \\ = & \underset{io}{Σ} | X_{io} | + \frac{α}{2} | | X - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | UN z - B + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

Il metodo della direzione alternata dei moltiplicatori risolve il doppio problema, tramite salita gradiente sulle doppie variabili, tranne che con proiezioni alternate inesatte sui doppi sottoprocessi. Cioè, si fa l'iterazione

max_{λ, γ} min_{X, z} L (X, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

In determinate condizioni lievi sui parametri e (spiegati nel documento Boyd & Parikh sopra linkato), il metodo ADMM converge alla vera soluzione. Il tasso di convergenza è lineare, poiché è al centro un metodo di risalita gradiente. Spesso può essere accelerato per essere superlineare di 1) modificando i parametri e man mano che si procede in base all'euristica o 2) utilizzando l'accelerazione di Nesterov. Per le note sulla modifica dei parametri di penalità, consultare il documento del sondaggio Boyd e per l'utilizzo dell'accelerazione di Nesterov con ADMM consultare il documento seguente, $\alpha$ $\beta$ $\alpha$ $\beta$

Goldstein, Tom, Brendan O'Donoghue e Simon Setzer. "Metodi di ottimizzazione rapida della direzione alternata." Rapporto CAM (2012): 12-35. ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

Tuttavia, anche se la velocità di convergenza globale è lineare solo, per problemi del metodo è stata osservata per trovare il modello sparsity molto rapidamente, e poi convergere più lentamente sui valori esatti. Poiché trovare il modello di scarsità è la parte più difficile, questo è molto casuale! Le ragioni esatte per cui sembrano essere un'area di ricerca attuale. Tutti vedono il modello di sparsità convergere rapidamente, ma nessuno sembra sapere esattamente perché ciò accada. Qualche tempo fa ho chiesto a Boyd e Parikh di questo tramite e-mail e Parikh ha pensato che potesse essere spiegato interpretando il metodo in un contesto di sistemi di controllo. Un'altra spiegazione euristica del fenomeno si trova nell'appendice del seguente documento, $l^1$

Goldstein, Tom e Stanley Osher. "Il metodo split Bregman per i problemi regolarizzati L1." SIAM Journal on Imaging Sciences 2.2 (2009): 323-343. ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

Naturalmente ora le bugie di difficoltà nel risolvere i e aggiornamento sottoproblemi per la vostra situazione specifica. Poiché il lagrangiano è quadratico in , il sottoproblema di aggiornamento richiede semplicemente di risolvere un sistema lineare. Il sottoproblema sembra più difficile poiché non è distinguibile, ma si scopre che esiste una formula esatta per la soluzione che può essere applicata elemento per elemento! Discutiamo ora questi sottoproblemi in modo più dettagliato e li specifichiamo al problema nel post originale. $x$ $z$ $z$ $z$ $x$

Setup per il sottoproblema di aggiornamento (sistema lineare) $z$

Per l' aggiornamento , abbiamo $z$

{un' r g m io n}_{z} L (X_{K}, z, λ_{K}, γ_{K}) = {un' r g m io n}_{z} \frac{α}{2} | | X - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | UN z - B + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

Specializzato al tuo problema questo diventa,

\begin{aligned} {un' r g m io n}_{Z_{J}, Z_{B}} & \frac{α}{2} | | J^{K + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{F r o}^{2} + \frac{α}{2} | | B^{K + 1} - Z_{B} + \frac{1}{α} Γ_{B} | |_{F r o}^{2} \\ + \frac{β}{2} | | M Z_{J} + Z_{B} Y - X + \frac{1}{α} Λ | |_{F r o}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

dove indica la norma Frobenius (elementwise ). Questo è un problema di minimizzazione quadratica, in cui si possono trovare le condizioni di ottimalità del primo ordine prendendo derivate parziali dell'obiettivo rispetto a e e ponendole a zero. Questo è $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{K + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{K + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

Come notato nei commenti del poster originale Justin Solomon, questo sistema per è simmetrico, quindi il gradiente coniugato è un metodo ideale privo di matrice. Una sezione successiva discute questo sistema e come risolverlo / precondizionarlo in modo più dettagliato. $Z_J,Z_B$

Risoluzione del sottoproblema update (soluzione di soglia analitica) $x$

Passiamo ora al sottoproblema , $x$

{un' r g m io n}_{X} L (X, z^{K}, λ^{K}, γ^{K}) = {un' r g m io n}_{X} \underset{io}{Σ} | X_{io} | + \frac{α}{2} | | X - z^{K} + \frac{1}{α} γ^{K} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

La prima cosa da vedere è che la somma può essere suddivisa elemento per elemento,

\underset{io}{Σ} | X_{io} | + \frac{α}{2} | | X - z^{K} + \frac{1}{α} γ^{K} | |^{2} = \underset{io}{Σ} | X_{io} | + \frac{α}{2} \underset{io}{Σ} (X_{io} - z_{io}^{K} + \frac{1}{α} γ_{io}^{K})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

Quindi possiamo risolvere il problema di ottimizzazione elemento per elemento in parallelo, producendo

X_{io}^{K + 1} = {un' r g m io n}_{X_{io}} | X_{io} | + \frac{α}{2} (X_{io} - z_{io}^{K} + \frac{1}{α} γ_{io}^{K})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

La forma generale di questa equazione è,

min_{S} | S | + \frac{α}{2} (S - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

La funzione del valore assoluto sta cercando di tirare il punto ottimale verso , mentre il termine quadratico sta cercando di tirare il punto ottimale verso . la vera soluzione si trova quindi da qualche parte sul segmento tra i due, con crescente che tende a tirare il punto ottimale verso , e che diminuisce tirando il punto ottimale verso . $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

Questa è una funzione convessa ma non è differenziabile a zero. La condizione per un punto minimizzante è che il sottoderivativo dell'obiettivo in quel punto contenga zero. Il termine quadratico ha la derivata e la funzione del valore assoluto ha la derivata per , la subderivativa a valore impostato come intervallo quando e la derivata per . Quindi otteniamo il subderivativo per la funzione obiettivo generale, $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{S} (| S | + \frac{α}{2} (S - t)^{2}) = {\begin{cases} 1 + α (S - t) & S > 0 \\ [- 1, 1] + α t, & S = 0, \\ - 1 + α (S - t), & S < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

Da ciò vediamo che il sottoderivativo dell'obiettivo in contiene se e solo se $s=0$ $0$ , nel qual casoè il minimizer. D'altra parte, senon è il minimizer, allora possiamo impostare la derivata a valore singolo uguale a zero e risolvere per il minimizer. In questo modo si ottiene, $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{un' r g m io n}_{S} | S | + \frac{α}{2} (S - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

Specializzando nuovamente questo risultato sul problema reale che stiamo cercando di risolvere nella domanda originale in cui produce, $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$ L'aggiornamento perè semplicemente

J_{io j}^{K + 1} = {\begin{cases} Z_{io j}^{K} - \frac{1}{α} Γ_{io j}^{K} - \frac{1}{α}, & Z_{io j}^{K} - \frac{1}{α} Γ_{io j}^{K} > \frac{1}{α}, \\ 0, & | Z_{io j}^{K} - \frac{1}{α} Γ_{io j}^{K} | \leq \frac{1}{α}, \\ Z_{io j}^{K} - \frac{1}{α} Γ_{io j}^{K} + \frac{1}{α}, & Z_{io j}^{K} - \frac{1}{α} Γ_{io j}^{K} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{K + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

come notato dal poster originale Justin Solomon nei commenti. Nel complesso, eseguire l'aggiornamento per richiede solo di scorrere ciclicamente le voci delle tue matrici e di valutare le formule precedenti per ciascuna voce. $J,B$

Complemento Schur per la sistema $Z_J,Z_B$

Il passaggio più costoso dell'iterazione è risolvere il sistema,

\begin{aligned} 0 & = - \frac{α}{2} (J^{K + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{K + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

A tal fine, vale la pena di costruire un buon risolutore / precondizionatore per questo sistema. In questa sezione lo facciamo vettorializzando , formando un complemento di Schur , facendo alcune manipolazioni del prodotto Krnoecker e quindi non vettorizzando. Il risultante sistema di complementi di Schur è un'equazione di Sylvester leggermente modificata .

In quanto segue le seguenti identità sulla vettorializzazione e sui prodotti Kronecker sono assolutamente fondamentali:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$
$(A \otimes B)^T = A^T \otimes B^T$

Queste identità valgono ogni volta che le dimensioni della matrice e l'invertibilità sono tali che ogni lato dell'equazione è un'espressione valida.

(α io + β [\begin{matrix} io \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes io \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

[\begin{matrix} io \otimes (α io + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α io + β Y Y^{T}) \otimes io \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (sol) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

$F$ $G$

[\begin{matrix} io \otimes (α io + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α io + β Y Y^{T}) \otimes io - β^{2} Y Y^{T} \otimes M (α io + β M^{T} M)^{- 1} M^{T} \end{matrix}] ... \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (sol) - β Y \otimes M (α io + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

Senza pubblicità, le due equazioni che dobbiamo risolvere in sequenza sono,

$Z_{B} (α I + β Y Y^{T}) - (β M (α I + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) \dots = G - β M (α I + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α I + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

$Y,M$

$Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$ può essere trovato facilmente dalla seconda equazione. La seconda equazione è banale da risolvere con qualsiasi metodo che ti piace.

Questo metodo richiede un costo iniziale per il pre-calcolo di due SVD completi prima dell'avvio del processo ADMM, ma è quindi veloce da applicare nelle iterazioni ADMM effettive. Poiché il metodo si occupa di SVD completi delle matrici dei vincoli, è appropriato quando sono vicini al quadrato e al rango elevato. È anche possibile un metodo più complicato che utilizza SVD di basso livello, ma è presentato in una sezione successiva.

Q D Q^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} Q (α I + D) Q^{T} - W β Σ (α I + Σ)^{- 1} Σ W^{T} Z_{B} Q D Q^{T} = H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

A (α I + D) - β Σ (α I + Σ)^{- 1} Σ A D = W H Q^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

Ora possiamo trovare $A$

((α io + D) \otimes io + D \otimes β Σ (α io + Σ)^{- 1} Σ) v e c (UN) = v e c (W H Q^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

$A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

$M^TM$ $YY^T$

$M,Y$

$Z_J,Z_B$ $M,Y$

(α io + β Y Y^{T}) \otimes io - β^{2} Y Y^{T} \otimes M (α io + β M^{T} M)^{- 1} M^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

(α io + β io \otimes M M^{T} + β Y Y^{T} \otimes io) v e c (Z_{B}) = (io \otimes (io + \frac{β}{α} M M^{T})) v e c (H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

Q D^{1 / 2} Q_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α io + β io \otimes W Σ W^{T} + β Y Y^{T} \otimes io)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

(UN + U C U^{T})^{- 1} = {UN}^{- 1} - {UN}^{- 1} U (C^{- 1} + U^{T} {UN}^{- 1} U)^{- 1} U^{T} {UN}^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

$I \otimes W$ $Y \otimes I$

{(\frac{1}{α} io + β [\begin{matrix} io \otimes W & Q \otimes io \end{matrix}] [\begin{matrix} io \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} io \otimes Σ^{T} \\ Q^{T} \otimes io \end{matrix}])}^{- 1} = α io - \frac{β}{α^{2}} [\begin{matrix} io \otimes W & Q \otimes io \end{matrix}] {[\begin{matrix} io \otimes (Σ^{- 1} + \frac{β}{α} io) & \frac{β}{α} Q \otimes W^{T} \\ \frac{β}{α} Q^{T} \otimes W & (D^{- 1} + \frac{β}{α} io) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} io \otimes Σ^{T} \\ Q^{T} \otimes io \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

{[\begin{matrix} UN & B \\ B^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (UN - B C^{- 1} B^{T})^{- 1} & - {UN}^{- 1} B (C - B^{T} {UN}^{- 1} B)^{- 1} \\ - C^{- 1} B^{T} (UN - B C^{- 1} B^{T})^{- 1} & (C - B^{T} {UN}^{- 1} B)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

(α io + β io \otimes M M^{T} + β Y Y^{T} \otimes io)^{- 1} = \frac{1}{α} io - \frac{β}{α^{2}} (t_{11} + S_{11} + t_{12} + S_{12} + t_{21} + S_{21} + t_{22} + S_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

\begin{aligned} t_{11} & = \frac{α}{β} io \otimes W l^{- 1} W^{T} \\ S_{11} & = (Q \otimes W l^{- 1}) D_{11} (Q^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} Q h^{- 1} Q^{T} \otimes W l^{- 1} W^{T} \\ S_{12} & = - (Q h^{- 1} \otimes W l^{- 1}) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ S_{21} & = - (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} Q h^{- 1} Q^{T} \otimes io \\ S_{22} & = (Q h^{- 1} \otimes W) D_{22} (h^{- 1} Q^{T} \otimes W^{T}) \\ D_{11} & = \frac{α}{β} {(h \otimes io - io \otimes l^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(io \otimes l - h^{- 1} \otimes io)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + io \\ h & = \frac{α}{β} D^{- 1} + io . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

$Z_B$

(({UN}_{1} \otimes B_{1}) + ({UN}_{2} \otimes B_{2}) + ...) v e c (C) = v e c (B_{1}^{T} C {UN}_{1} + B_{2}^{T} C {UN}_{2} + ...) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

Nota che tutte le inversioni esplicite con cui siamo finiti sono diagonali, quindi non c'è niente da "risolvere".

Codice del risolutore lineare

Ho implementato i due precedenti $z_J,Z_B$ solutori in Matlab. Sembra funzionare bene. Il codice del risolutore è qui.

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

Uno script di test per verificare che i solutori funzionino. Mostra anche come esempio come chiamare il codice del risolutore.

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

Osservazioni conclusive

I metodi di tipo ADMM sono adatti a problemi come questo, ma è necessario implementare la propria implementazione. La struttura complessiva del metodo è piuttosto semplice, quindi l'implementazione non è troppo difficile in qualcosa come MATLAB.

Il pezzo mancante da questo post che dovrebbe essere specificato per definire completamente il metodo per il tuo problema è una scelta di parametri di penalità $\alpha,\beta$ . Fortunatamente il metodo è generalmente piuttosto robusto fintanto che i valori dei parametri non sono pazzi. Il documento di Boyd e Parikh ha una sezione sui parametri di penalità così come i riferimenti in essa, ma vorrei solo sperimentare i parametri fino a ottenere tassi di convergenza ragionevoli.

Il $Z_J,Z_B$ le strategie di risoluzione presentate sono molto efficaci se le matrici di vincoli sono a) densi, quadrati e di alto rango, oppure b) hanno una buona approssimazione di basso rango. Un altro risolutore utile che potrebbe essere un argomento di lavoro futuro sarebbe un risolutore ottimizzato per il caso seguente: la matrice dei vincoli $M$ è scarso, quadrato e di alto rango, ma esiste un buon precondizionatore per $\alpha I + MM^T$ . Questo sarebbe il caso se, ad esempio, $M$ è un Laplaciano discretizzato.

— Nick Alger
fonte

Attuare questo ora! Per verificare, la matrice risolve

Z_{B}

$Z_B$ e

Z_{J}

$Z_J$ dovrebbe essere definito simmetrico / positivo poiché proviene da minimi quadrati, giusto? Questo empiricamente sembra essere vero :-). Quindi, CG è un'opzione migliore di GMRES?

— Justin Solomon,

Inoltre, penso che l'aggiornamento per B sia sbagliato? Sto lavorando su questo in modo più dettagliato, ma il ricordo B non appare nella mia funzione energetica (no

| B |

$|B|$ termine), quindi non sono sicuro che dovrebbe assumere solo valori

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$ Sto pensando a questo sbagliato? Grazie!

— Justin Solomon,

[errr piuttosto,

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$ ]

— Justin Solomon

Sorprendente! Dopo aver inserito le mie formule per

J

$J$ e

B

$B$ (probabilmente vicino / equivalente a quello che hai pubblicato ma qualcosa non funzionava), questo è di gran lunga superiore al metodo IRLS. Grazie!

— Justin Solomon,

Grandi notizie. È bello vedere quando i contributi qui portano a risultati reali.

— Michael Grant,

Probabilmente vuoi usare un metodo senza matrice per la programmazione lineare. Non conosco alcun metodo specificamente orientato alla programmazione lineare, ma esistono metodi di punti interni privi di matrice per programmi quadratici e programmi generali non lineari. Il caso di programma quadratico corrisponde esattamente al tuo problema, in cui i coefficienti di forma quadratica sono tutti zero. (Potresti anche adattare metodi che utilizzano esatte soluzioni lineari alla struttura del tuo problema, ma quel tipo di implementazione su misura potrebbe non valerne la pena ed è meno pratico rispetto all'utilizzo di un metodo privo di matrice.)

Non conosco alcun pacchetto di ottimizzazione commerciale che implementa varianti prive di matrice di metodi di punti interni. IPOPT dovrebbe implementare un metodo punto interno privo di matrice per la programmazione non lineare, ma non sono stato in grado di rintracciare le chiamate API che ti consentono di usarlo.

Oltre a CVX, potresti probabilmente usare GAMS o AMPL per inserire una volta la matrice e impostare i tuoi vincoli nel linguaggio di modellazione per usare quella matrice. Tuttavia, i metodi utilizzati dai backend del solutore su CVX, GAMS e AMPL non utilizzano solutori senza matrice; tutto richiederà la matrice a coefficiente pieno per il programma lineare in forma standard, che sarà enorme (sarà un prodotto di matrici di Kronecker). Ciò che accadrà probabilmente è che inserisci il tuo programma lineare nel modulo sopra usando il linguaggio di modellazione, e quindi il linguaggio di modellazione tradurrà i dati in un modulo utilizzabile dai risolutori di backend. Questo modulo richiederà enormi matrici e sospetto che si verifichino gli stessi tipi di errori (a meno che non si esegua su una macchina con memoria sufficiente).

— Geoff Oxberry
fonte

Sembra che io abbia provato tutte le cose giuste! Inizialmente ho sperimentato CVX e non è riuscito, quindi sono passato a IPOPT. Ma IPOPT stava avendo lo stesso problema. Non sapevo che avesse un'opzione senza matrice, quindi vedrò se riesco a capirlo.

— Justin Solomon,

Non sono sicuro che GAMS / AMPL possa aiutare il mio problema. Sono felice di codificare il problema in qualunque forma aiuterà il risolutore a fare la cosa giusta, ma come dici dietro le quinte, prendere un prodotto Kronecker non funzionerà.

— Justin Solomon,

Potete permettervi quei SVD citati da Geoffrey Irving? Se possibile, prenderei in considerazione un approccio IRLS (requadrati minimi quadrati ripetutamente) . Questo approccio risolverebbe i problemi del modulo

\begin{array}{ll} minimizzare & \underset{io j}{Σ} W_{io j} J_{io j}^{2} \\ soggetto a & M J + B Y = X \end{array}

$\begin{array}{ll}\text{minimize}&\sum_{ij} W_{ij}J_{ij}^2\\\text{subject to}&MJ+BY=X\end{array}$ dove

W

$W$ è una matrice di peso.

Le iterazioni iniziano con $W^{(0)}$ come matrice di tutti; questo produce un ottimo $J^{(0)}$ . Le iterazioni procedono con

W_{io j}^{(K + 1)} = {| max {J_{io j}^{(K)}, ε} |}^{- 1}

$W_{ij}^{(k+1)}=\left|\max\{J_{ij}^{(k)},\epsilon\}\right|^{-1}$ dove

ϵ

$\epsilon$ è una piccola costante che impedisce la divisione per zero. Non sono del tutto sicuro dei criteri di convergenza, ma forse il link Wikipedia che ho offerto sopra può darti riferimenti.

Potresti anche considerare un metodo del primo ordine levigato. TFOCS, che ho co-autore, potrebbe gestirlo usando il suo solutore "smoothed conic dual" (SCD), ma non sarà così facile da usare.

Se vuoi provare un metodo di punti interni privo di matrice, leggi il lavoro di Jacek Gondzio.

EDIT: hmm, potrebbe essere il caso che IRLS non sarà in grado di utilizzare SVD per calcolare soluzioni. In tal caso, ricadrei su una delle altre scelte.

— Michael Grant
fonte

Non sono sicuro che sarei in grado di utilizzare SVD qui, ma IRLS è un'ottima idea a prescindere! La velocità non è tanto una preoccupazione quanto la memoria, e imbarazzante ho usato IRLS per una ricerca correlata qualche mese fa e ha funzionato alla grande (prendendomi a calci per non averlo provato prima!). Anche senza SVD per IRLS, dovrebbe essere possibile farlo utilizzando un risolutore lineare come CG che non necessita del sistema completo. In effetti, CG può probabilmente essere fermato con vincoli abbastanza allentati prima della regolazione

W_{i j}

$W_{ij}$ come suggerisci tu. Anche esaminando un approccio ADMM, ma ho meno esperienza con questo.

— Justin Solomon

Sì, anche ADMM sarebbe fantastico. In realtà ho scritto una sezione che suggerisce di eliminare del tutto Y, ma in seguito l'ho visto

M

$M$ non era quadrato.

— Michael Grant,

Implementata la strategia IRLS: converge ma numericamente non funziona molto bene poiché il sistema lineare che deve risolvere è mal condizionato grazie a una vasta gamma di

w

$w$ 'S; usando GMRES per risolvere il sistema. Proverò ADMM dopo!

— Justin Solomon,

Potresti provare a usare CVX , che ti permetterebbe di codificarlo esattamente nella forma in cui lo hai scritto (cioè con $X$ come matrice piuttosto che come vettore). Probabilmente sarebbe risolto usando un solutore convesso più generale invece di un solutore LP, ma se il risolutore convesso avrà successo, suppongo che non ti dispiacerà.

Un'altra possibilità: utilizzare un solutore che consenta di memorizzare le matrici dei vincoli come matrici sparse. Ciò richiederà ancora molta più memoria di quella che dovresti avere bisogno, ma molto meno che se le memorizzi come matrici dense. In CVX, se usi kronottieni una matrice sparsa, quindi sarebbe banale provare questo.

— David Ketcheson
fonte

Se Python sarebbe più conveniente di MATLAB per qualsiasi motivo, allora c'è anche cvxpy anche se non è abbastanza lucido come cvx.

— k20,

Il mio sospetto è che questo approccio funzionerà in modo superficiale, per poi fallire dopo che il linguaggio di modellazione CVX ha trasformato i dati di input in una forma utilizzabile dai suoi risolutori di backend (che risolverà programmi lineari, programmi quadratici, programmi a cono di secondo ordine, programmi semidefiniti e programmi geometrici). Spiego perché nella mia risposta. Il backend di Gurobi è un risolutore di LP di prim'ordine (tra gli altri tipi), quindi usare CVX con quell'algoritmo è probabilmente il migliore che puoi fare in termini di implementazione, a meno di chiamare CVX da un'API di linguaggio compilata.

— Geoff Oxberry,

Come dice Geoff, nessun layer di modellazione ti aiuterà qui. L'LP risultante ha i dati ripetuti per qualsiasi risolutore generico standard. Per aggirare questo, dovrai usare (sviluppare) un risolutore basato su un oracolo, cioè un risolutore che, essenzialmente, si basa sulla restituzione del residuo

M J + B Y - X

$MJ+BY-X$ per un dato valore di

J, Y

$J,Y$ e / o qualche taglio adatto, quindi lavora con quella descrizione.

— Johan Löfberg,

Sì, sto riscontrando esattamente il problema menzionato da Geoff. In effetti, ho usato CVX per la mia ipotesi iniziale. Ho anche provato a chiamare direttamente Gurobi, ma l'unico modo in cui posso pensare di farlo è fare lo stesso problema di srotolamento.

— Justin Solomon,

Penso che dovresti farlo tu

— Johan Löfberg,