È noto che alcuni problemi di ottimizzazione sono equivalenti al time-stepping?

Dato uno stato desiderato $y_0$ e un parametro di regolarizzazione $\beta \in \mathbb R$ , considerare il problema di trovare uno stato $y$ e un controllo $u$ per minimizzare un funzionale

$$\begin{equation} \frac{1}{2} \| y - y_0 \|^2 + \frac{\beta}{2} \| u \|^2 \end{equation}$$ soggetto al vincolo $$\begin{equation} Ay = u. \end{equation}$$ dove per semplicità possiamo pensare a$y, y_0, u \in \mathbb R^n$e$A \in \mathbb R^{n \times n}$.

Formando il Lagrangiano, cercando punti stazionari ed eliminando il controllo $u$ otteniamo le condizioni del primo ordine

$$\begin{align*} A^T \lambda &= y_0 - y \\ Ay &= \frac{1}{\beta} \lambda \end{align*}$$ Premoltiplicando per $A$ nella prima equazione e $A^T$ nella seconda, possiamo scrivere le equazioni normali $$\begin{align} (I + \beta A A^T) \lambda &= \beta A y_0 \\ (I + \beta A^T A) y &= y_0 \end{align}$$ Possiamo interpretarli come singoli passaggi di approssimazioni di Eulero arretrate alle equazioni differenziali $$\begin{align} \frac{\partial \lambda}{\partial b} &= -A A^T \lambda + A y_0, \quad \lambda(0) = 0 \\ \frac{\partial y}{\partial b} &= -A^T A y, \quad y(0) = y_0 \end{align}$$ con pseudotimestep $\beta$ .

La mia domanda: questa connessione è ben nota? È discusso in trattamenti standard di timestrap o ottimizzazione? (Per me, sembra fornire una sorta di connessione intuitiva tra di loro.)

L'idea sembra abbastanza semplice da essere ben nota, ma né la ricerca in letteratura né il parlare con le persone mi hanno dato una buona fonte di cui si discute. Il più vicino che ho trovato è un articolo di O. Scherzer e J. Weichert (J. Math Imaging Vision 12 (2000) pp. 43-63) che afferma la connessione nella prima frase dell'abstract (!) Ma non fornire riferimenti o esplorare la connessione in qualsiasi profondità.

Idealmente sto cercando un riferimento che non solo dichiari la connessione ma esplori anche alcune conseguenze (ad esempio, si potrebbe immaginare di precondizionare un problema di ottimizzazione con un passo avanti di Eulero a buon mercato).

Come menzionato da Jed Brown, la connessione tra la discesa del gradiente nell'ottimizzazione non lineare e il time stepping dei sistemi dinamici viene riscoperta con una certa frequenza (comprensibilmente, poiché è una connessione molto soddisfacente alla mente matematica poiché collega due campi apparentemente diversi). Tuttavia, raramente risulta essere una connessione utile , soprattutto nel contesto che descrivi.

In problemi inversi, le persone sono interessate a risolvere il (mal posto) equazione operatore con non nella gamma di . (Il tuo problema di controllo ottimale può essere visto come un'istanza di esso con e .) Diverse strategie di regolarizzazione (come Tikhonov o Landweber) possono essere interpretate come un singolo pseudo-tempo passaggio di una certa classe. L'idea è quindi di utilizzare l'interpretazione del parametro di regolarizzazione come lunghezza di un passo per ottenere alcune regole di scelta (adattativa, a posteriori) per il parametro - un problema fondamentale in problemi inversi - e possibilmente per fare più passaggi pseudo-tempo per avvicinare la vera soluzione non regolamentata (in modo simile ay δ F F = A - $F(u)=y^\delta$$y^\delta$$F$$F=A^{-1}$$y^\delta = y_0$continuazione numerica ). Questo a volte viene chiamato regolarizzazione continua e di solito viene discusso nel contesto dei metodi di impostazione dei livelli; vedere, ad esempio, il capitolo 6.1 di Kaltenbacher, Scherzer, Neubauer: Metodi di regolarizzazione iterativa per problemi non lineari mal posti (de Gruyter, 2008).

Un secondo contesto in cui questa idea ripetutamente è l'ottimizzazione non lineare: se si osserva un passaggio di discesa gradiente per , allora si può interpretare questo come un avanti passo Eulero per il sistema dinamico Come ha sottolineato Jed Brown, questo a prima vista produce solo l'osservazione non molto sorprendente che questo metodo converge, a condizione che i passi pseudo-tempo siano abbastanza piccoli. La parte interessante arriva quando guardi il sistema dinamico e ti chiedi quali proprietà la soluzione continua del cosiddetto flusso di gradientex k + 1 = x k - γ k ∇ f ( x k ) , ˙ $\min_x f(x)$

$$x^{k+1} = x^k - \gamma_k \nabla f(x^k),$$ γ $$\dot x(t) = -\nabla f(x(t)),\qquad x(0) = x^0.$$ $\gamma_k$$x(t)$ha (o dovrebbe avere), indipendentemente dalla discesa del gradiente, e se ciò potrebbe non portare a metodi più appropriati di time stepping (e quindi ottimizzazione) rispetto allo standard Euler. Alcuni esempi dalla parte superiore della mia testa:

1. Esiste uno spazio funzionale naturale in cui vive il flusso del gradiente? In tal caso, il gradiente dovrebbe essere preso dallo stesso spazio (cioè, la discretizzazione dovrebbe essere conforme). Ciò porta, ad esempio, a calcolare le rappresentazioni di Riesz del gradiente rispetto ai diversi prodotti interni (a volte chiamati gradienti di Sobolev ) e, in pratica, a iterazioni precondizionate che convergono molto più velocemente.

2. Forse dovrebbe appartenere non a uno spazio vettoriale, ma a una varietà (ad es. Matrici definite positive simmetriche), oppure il flusso del gradiente dovrebbe conservare una certa norma di . In questo caso, potresti provare ad applicare schemi di time-stepping che preservano la struttura (ad esempio, comportando un pull-back rispetto a un gruppo di Lie appropriato o un integratore geometrico).$x$$x$

3. Se non è differenziabile ma convesso, il passo di Eulero in avanti corrisponde a un metodo di discesa di grado inferiore che può essere molto lento a causa delle restrizioni sulla dimensione del passo. D'altra parte, un passaggio implicito di Eulero corrisponde a un metodo del punto prossimale , per il quale non si applicano tali restrizioni (e che sono quindi diventate molto popolari, ad esempio, nell'elaborazione delle immagini).$f$

4. Allo stesso modo, tali metodi possono essere significativamente accelerati mediante passaggi di estrapolazione. Un modo per motivarli è osservare che i metodi standard del primo ordine soffrono di dover fare molti piccoli passi vicino ai minimizzatori, perché le direzioni del gradiente "oscillano" (pensate all'illustrazione standard per cui i gradienti coniugati superano la discesa più ripida). Per rimediare a ciò, si può "smorzare" l'iterazione non risolvendo un sistema dinamico del primo ordine, ma un sistema smorzato del secondo ordine : per opportunamente scelto . Con la corretta discretizzazione, ciò porta a un'iterazione (nota come metodo della palla pesante di Polyak ) della forma

   $$a_1 \ddot x(t) + a_2 \dot x(t) = -\nabla f(x(t))$$ $a_1,a_2$ $$x^{k+1} = x^k - \gamma_k \nabla f(x^k) + \alpha_k (x^k - x^{k-1})$$ (con seconda di ). Idee simili esistono per i metodi dei punti prossimali, vedi, ad esempio, il documento http://arxiv.org/pdf/1403.3522.pdf di Dirk Lorenz e Thomas Pock.a 1 , a $\gamma_k,\alpha_k$$a_1,a_2$

---

(Dovrei aggiungere che per quanto ne so, nella maggior parte di questi casi l'interpretazione come sistema dinamico non era strettamente necessaria per la derivazione o la prova di convergenza dell'algoritmo; si potrebbe sostenere che idee come "implicito vs. esplicito" o derivati ​​di Lie sono in realtà più fondamentali dei sistemi dinamici o dei metodi di discesa del gradiente. Tuttavia, non fa mai male avere un altro punto di vista da cui guardare un problema.)

---

EDIT: Mi sono appena imbattuto in un eccellente esempio del secondo contesto, in cui l'interpretazione ODE viene utilizzata per dedurre le proprietà del metodo extragradiente di Nesterov e suggerire miglioramenti: http://arxiv.org/pdf/1503.01243.pdf (Nota che questo è anche un esempio del punto di Jed Brown, in cui gli autori riscoprono essenzialmente il punto 4 sopra senza apparentemente essere a conoscenza dell'algoritmo di Polyak.)

EDIT 2: E come indicazione di quanto lontano puoi portarlo, vedi pagina 5 di http://arxiv.org/pdf/1509.03616v1.pdf .

Mentre non ho visto la formulazione esatta che hai scritto qui, continuo a vedere discorsi in cui le persone "riscoprono" una connessione all'integrazione di un sistema transitorio e procedono a scrivere un algoritmo che è algebricamente-equilavent a una forma o un altro di una discesa gradiente esistente o un metodo simile a Newton, e non riescono a citare qualcun altro. Penso che non sia molto utile perché la conclusione è fondamentalmente che "fintanto che prendi abbastanza piccoli passi, il metodo alla fine converge al minimo locale". Bene, il 2014 segna il 45 ° anniversario del lavoro di Philip Wolfe che mostra come farlo in linea di principio. Esiste anche una buona teoria per ottenere la convergenza q-quadratica o q-superlineare dalla continuazione pseudotrasparente e metodi correlati come Levenberg-Marquardt.

Se desideri un'istanza di questa riscoperta usando una formulazione simile a Newton per risolvere equazioni algebriche (cioè, continuazione pseudotransitoria classica) da un matematico con più di 600 articoli (quindi forse dimostrerà cose che trovi interessanti), guarda il " Metodo dei sistemi dinamici "di AG Ramm [1].

Se l'intuizione acquisita considerando un sistema transitorio portasse a algoritmi pratici che fossero più veloci o più affidabili, penso che vedremmo articoli molto citati sull'argomento. Penso che non sia un mistero che Nocedal e Wright abbiano oltre 13000 citazioni mentre il libro di Ramm ne ha circa 80 (per lo più citazioni di sé).

[1] Posso consigliarti di non informare il Prof. Ramm che il suo DSM è algebricamente equivalente a qualcosa che è stato in innumerevoli pacchetti di ingegneria per decenni o potresti farti urlare fuori dalla stanza. #gradstudentmemories

Se i metodi ODE possono contribuire all'ottimizzazione, c'è un problema di esempio davvero semplice da mostrare?
Un uomo di paglia: c'è un risolutore ODE che fa un lavoro ragionevole su o come Christian Clason suggerisce per dire la funzione Rosenbrock, in 2D o 10d? Se è sciocco, qualcuno ha un uomo di paglia migliore? (Nota "ragionevole", non "competitivo con gli ottimizzatori all'avanguardia". Immagino che uno abbia bisogno di ridurre le dimensioni / tolleranza del gradino e forse un risolutore rigido.)
$\qquad \dot{ x } = - \nabla f( x )$
$\quad \ddot{ x } = \beta \dot{ x } - \alpha \nabla f( x ) \ \ $
$f$

In pratica, i passaggi "troppo grandi" sono molto più problematici di "troppo piccoli" - le oscillazioni sono disordinate.
Avrei pensato ingenuamente che la teoria del controllo potesse aiutare. Ricette numeriche p. 915 descrive il
controllo adattivo delle misure PI per ODE, ma non so se questo sia usato in pratica.