Precondizionatore efficiente per lagrangiano aumentato

Voglio risolvere un problema non lineare con vincoli di uguaglianza non lineari e sto usando un Lagrangiano aumentato con un termine di regolarizzazione della penalità che, come noto, rovina il numero di condizione dei miei sistemi linearizzati (ad ogni iterazione di Newton intendo) . Maggiore è il termine di penalità, peggiore è il numero della condizione. Qualcuno saprebbe un modo efficace per sbarazzarsi di questo cattivo condizionamento in quel caso specifico?

Per essere più precisi, sto usando il classico lagrangiano aumentato perché ho molti vincoli che possono essere generalmente ridondanti. È quindi molto conveniente incorporare ciecamente i vincoli direttamente nelle variabili primarie. Ho provato altri approcci più sofisticati basati su eliminazioni variabili o precondizionatori efficienti direttamente sul sistema KKT ma, a causa della ridondanza dei vincoli, ho qualche problema.

Il problema relativo alle variabili è formulato come segue il mio Lagrangiano come la forma $\mathbf u =[u_1,\cdots,u_n]$

L (u, λ) := W (u) + ρ λ^{T} c (u) + \frac{ρ}{2} c^{2} (u)

$\mathcal L(\mathbf u,\lambda):= \mathcal W(\mathbf u) + \rho \lambda^T \,c(\mathbf u) + \frac{\rho}{2} c^2(\mathbf u)$

Quindi, in generale, l'obiettivo di ogni iterazione di Newton è risolvere un problema nella forma

A Δ u = b

$A \Delta u = b$ Con (eliminiamo l'assia del vincolo)

A (u, ρ) := \nabla_{u}^{2} W (u) + ρ C^{T} (u) C (u)

$A(\mathbf u,\rho): = \nabla_{\mathbf u}^2 \mathcal W(\mathbf u) + \rho C^T(\mathbf u)C(\mathbf u)$ e

b (u, ρ) := - (\nabla_{u} W (u) + (ρ + λ^{T} c (u)) \nabla_{u} (u))

$b(\mathbf u,\rho) :=- \big(\nabla_{\mathbf u}\mathcal W(\mathbf u) +(\rho +\lambda^Tc(\mathbf u)) \nabla_{\mathbf u}(\mathbf u)\big)$ e la maiuscola

C

$C$ è destinata a

C (u) := \nabla_{u} c (u)

$C(\mathbf u) := \nabla_{\mathbf u} c(\mathbf u)$ .

Grazie.

linear-solver preconditioning constrained-optimization

— Tom
fonte

Ciao Tom. Benvenuto in Scicomp. Per aiutarci a rispondere alla tua domanda, potresti scrivere le equazioni che stai cercando di risolvere?

— Paolo

Intendi ?

A Δ u = b

$A\Delta u=b$

— Arnold Neumaier,

Oops scusa. Sì certo.

— Tom,

Risposte:

A seconda della struttura del problema, è possibile risolvere direttamente il sistema lagrangiano aumentato mal condizionato. Ad esempio, BDDC / FETI-DP può risolvere l'elasticità quasi incomprimibile in forma primaria con un tasso di convergenza indipendente dal rapporto di Poisson (costante a tratti sui sottodomini, ma con salti arbitrari). Allo stesso modo, i metodi multigrid che riproducono esattamente la modalità volumetrica possono avere questa proprietà. Tali metodi sono specifici del problema e, in generale, sanzioni elevate comportano sistemi difficili da precondizionare.

Per consentire una maggiore flessibilità nella scelta del precondizionatore, raccomando di introdurre esplicite doppie variabili e di scrivere il più grande sistema di punti a sella

(\begin{matrix} A & C^{T} \\ C & - ρ^{- 1} \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = (\begin{matrix} b \\ 0 \end{matrix})

$\begin{pmatrix}A & C^T \\ C & -\rho^{-1} \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} b \\ 0 \end{pmatrix}$

come suggerito da Arnold Neumaier. Questo sistema è molto meglio condizionato e consente di valutare accuratamente un residuo. Se esiste un precondizionatore per qualche sistema penalizzato (dove ), è possibile utilizzarlo come precondizionatore a blocchi per il sistema a sella. Per un esempio di ciò, vedi Dohrmann e Lehoucq (2006) che presuppongono l'elasticità incomprimibile in forma mista usando BDDC applicato a problemi comprimibili. Un'altra popolare classe di metodi si basa sull'approssimazione del complemento di Schur usando argomenti "commutatore approssimativo". Esiste una gamma estremamente diversificata di metodi per risolvere i problemi relativi ai punti di sella, vedi Benzi, Golub e Liesen, $A - \tilde\rho C^T C$ $\tilde \rho \le \rho$ $-\rho^{-1} - C A^{-1} C^T$ Numerical Solution of Saddle Point Problems (2005) per una recensione. Se si utilizza PETSc, molti dei metodi descritti nella recensione precedente possono essere costruiti utilizzando le opzioni di runtime tramite ilPCFIELDSPLITcomponente.

Se puoi essere più specifico sulla fonte del tuo problema (cosa stai minimizzando e qual è il vincolo), potrei essere in grado di suggerire riferimenti più specifici.

— Jed Brown
fonte

i precondizionatori per il sistema regolarizzato mi aprono nuove strade! Tuttavia avrò bisogno di un po 'di tempo per digerire tutto ciò, potrei tornare da te dopo un po' se non ti dispiace. Grazie a tutti e due per le risposte.

— Tom,

Introduci variabili extra per i termini di spoiler nella condizione KT e puoi trovare un sistema simmetrico più grande che è numericamente ben educato, con solo l'inverso del fattore di penalità che entra nella matrice.

Per risolvere il sistema mal condizionato quando è grande, introdurre e ripetere il problema nel formato , , che è genericamente ben condizionato. $(A+\rho C^TC)x=b~$ $\rho$ $y=\rho Cx$ $Ax+C^Ty=b$ $Cx-\rho^{-1}y=0$

— Arnold Neumaier
fonte

In generale, i miei vincoli sono nella forma dove implica generalmente solo pochi gradi di libertà. Ad esempio, potremmo avere alcuni vincoli di proiezione come corrispondente alla proiezione del punto 3D sul segmento .

c (u) = 0

$c(\mathbf u) = 0$

u

$\mathbf u$

c (x_{s}, x_{1}, x_{2}) = (x_{2} - x_{1}) n

$c(x_s,x_1,x_2)= (x_2-x_1) \mathbf n$

x_{s}

$x_s$

\[x_{1}, x_{2} \]

$x_1,x_2$

— Tom,

@ Tom: non intendevo il problema non lineare ma le equazioni mal condizionate con cui finisci. Si prega di annotare (modificando la domanda) la forma del sistema lineare che si desidera risolvere e come inserire il parametro di penalità.

— Arnold Neumaier,

Sto cercando di capire come l'introduzione di variabili extra farebbe il trucco ... Potresti inviarmi un riferimento? Grazie mille!

— Tom,

@ Tom: vedi la risposta modificata.

— Arnold Neumaier,

Ma se è grande allora e il sistema è molto simile al sistema KKT originale che è indefinito, non è vero?

ρ

$\rho$

ρ^{- 1} \approx 0

$\rho^{-1} \approx 0$

— Tom,