Comprensione del costo del metodo aggiunto per l'ottimizzazione vincolata da pde

Sto cercando di capire come funziona il metodo di ottimizzazione basato sull'aggiunta per un'ottimizzazione vincolata PDE. In particolare, sto cercando di capire perché il metodo aggiunto è più efficiente per problemi in cui il numero di variabili di progettazione è grande, ma il "numero di equazioni è piccolo".

Quello che ho capito:

Si consideri il seguente problema di ottimizzazione vincolata PDE:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

dove $I$ è una funzione oggettiva (sufficientemente continua) di una variabile di disegno vettoriale $\beta$ e un vettore di variabili di campo sconosciute $u(\beta)$ che dipendono dalle variabili di disegno, e $R(u)$ è la forma residua del PDE.

Chiaramente, possiamo le prime variazioni di I e R come

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

Introducendo un vettore di moltiplicatori di lagrange $\lambda$ , la variazione della funzione obiettivo può essere scritta come

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

Riorganizzando i termini, possiamo scrivere:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

Quindi, se siamo in grado di risolvere per tale che $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

Quindi viene valutato il gradiente solo in termini di variabili di progettazione . $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

Pertanto, un algoritmo di ottimizzazione basato su aggiunta verrebbe eseguito in sequenza sui seguenti passaggi:

Date le variabili di progettazione correnti $\beta$
Risolvi per le variabili di campo (dal PDE) $u$
Risolvi per i moltiplicatori di lagrange (dall'equazione aggiunta) $\lambda$
Calcola i gradienti $\frac{\partial I}{\partial \beta}$
Aggiorna variabili di progettazione $\beta$

La mia domanda

In che modo questo "trucco" aggiunto migliora il costo dell'ottimizzazione per iterazione nel caso in cui il numero di variabili di progettazione sia elevato? Ho sentito che il costo della valutazione del gradiente per il metodo aggiunto è "indipendente" dal numero di variabili di progettazione. Ma com'è esattamente vero?

Sono sicuro che c'è qualcosa di molto ovvio che in qualche modo sto trascurando.

optimization pde

— Paolo
fonte

A proposito, il moltiplicatore di Lagrange viene solitamente aggiunto all'obiettivo funzionale, non alla variazione; quindi . Impostando la derivata rispetto a su zero si ottiene l'equazione aggiunta e inserendo questa (e la soluzione dell'equazione di stato ) nella derivata rispetto a ottiene il gradiente. Se inizi con la formulazione debole del PDE, le cose diventano ancora più semplici: basta inserire il moltiplicatore di Lagrange al posto della funzione di test. Non è necessario per la forma forte o l'integrazione parziale ovunque.

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— Christian Clason,

La parte più costosa di qualsiasi simulazione è la fase di risoluzione. Usando l'aggiunto si ottiene il gradiente in due soluzioni, molto più economico rispetto alle differenze finite in cui è necessario almeno n + 1 soluzioni, essendo n il numero di parametri liberi nel modello.

— Stali,

Risposte:

In che modo questo "trucco" aggiunto migliora il costo dell'ottimizzazione per iterazione nel caso in cui il numero di variabili di progettazione sia elevato?

Penso al costo da una prospettiva di algebra lineare. (Vedi queste note di Stephen G. Johnson , che trovo più intuitive rispetto all'approccio del moltiplicatore di Lagrange). L'approccio forward equivale a risolvere direttamente le sensibilità:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

che comporta la risoluzione di un sistema lineare per ciascun parametro nel vettore , quindi la valutazione $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

dove indica un derivato totale e indica un derivato parziale. $\mathrm{d}$ $\partial$

L'approccio aggiunto lo osserva

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

così la variabile aggiunta (moltiplicatore di Lagrange) può essere definita da $\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

che corrisponde all'equazione aggiunta

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

Questo raggruppamento di termini richiede solo una risoluzione lineare, anziché una risoluzione lineare per ciascun parametro, il che rende la valutazione aggiuntiva economica per il caso di molti parametri.

Ho sentito che il costo della valutazione del gradiente per il metodo aggiunto è "indipendente" dal numero di variabili di progettazione. Ma com'è esattamente vero?

Non è totalmente indipendente; presumibilmente il costo della valutazione e aumenterà con il numero di parametri. Le soluzioni lineari, tuttavia, avranno comunque le stesse dimensioni, purché le dimensioni di non cambino. Il presupposto è che i risolti sono molto più costosi delle valutazioni delle funzioni. $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— Geoff Oxberry
fonte

In breve, il vantaggio deriva dal fatto che per calcolare le derivate dell'obiettivo ridotto , non è necessario conoscere la derivata di rispetto a come oggetto separato, ma solo quella parte di esso che porta a variazioni in . $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

Vorrei passare a una notazione con cui mi sento un po 'più a agio con: ( essendo il variabile di progettazione, come variabile di stato e come obiettivo). Let esempio è abbastanza bello applicare la funzione teorema implicita, quindi l'equazione ha una soluzione unica che è continuamente differenziabile rispetto a , e il derivato è dato dalla soluzione di ( ed sono i derivati parziali) .

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

Ciò significa che puoi definire l'obiettivo ridotto , che è anche differenziabile (se è). Un modo per caratterizzare il gradiente è tramite derivate direzionali (ad esempio, calcolare tutte le derivate parziali rispetto a una base dello spazio di progettazione). Qui, la derivata direzionale nella direzione è data dalla regola della catena come Se è carino, l'unica cosa difficile da calcolare è per data . Questo può essere fatto moltiplicando per $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ da destra e risolvendo per (che il teorema della funzione implicita consente), ovvero, calcolo e inserendo questa espressione in . Nell'ottimizzazione con vincolo PDE, ciò equivale a risolvere un PDE linearizzato per ogni vettore base dello spazio di progettazione.

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

Tuttavia, se troviamo un operatore tale che allora questo deve essere il gradiente desiderato. Guardando , possiamo scrivere (con essendo l'operatore aggiunto), quindi tutto ciò che dobbiamo calcolare è . Usando quello , questo può essere fatto usando , cioè, computing e impostazione vincolata PDE, $\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ di solito è una sorta di residuo, e computing implica la risoluzione di un singolo PDE aggiunto (lineare), indipendente dalla dimensione dello spazio di progettazione. (In effetti, questo funziona anche con parametri distribuiti, cioè se una funzione in uno spazio di Banach a dimensione infinita, dove il primo approccio è impossibile.)

λ

$\lambda$

u

$u$

— Christian Clason
fonte