Motivazione intuitiva per l'aggiornamento di BFGS

Sto insegnando un corso di indagine di analisi numerica e sto cercando la motivazione per il metodo BFGS per gli studenti con background / intuizione limitati nell'ottimizzazione!

Anche se non ho il tempo di dimostrare rigorosamente che tutto converge, sto cercando di dare una motivazione ragionevole per cui potrebbe apparire l'aggiornamento di BFGS Hessian. Come analogia, il metodo di ricerca della radice di Broyden (il mio articolo è qui ) può essere motivato chiedendo che la tua attuale approssimazione del giacobino minimizzi la differenza con il vecchio giacobino soggetto al vincolo che tiene conto dell'ultima secante: J_k (\ vec x_k- \ vec x_ {k-1}) = f (\ vec x_k) -f (\ vec x_ {k-1 }) . J k ( → x k - → x k - 1 ) = f ( → x k ) - f ( → x k - 1$\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$$J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

Le derivazioni degli aggiornamenti di BFGS sembrano molto più coinvolte e oscure! In particolare, mi piacerebbe non assumere a priori che l'aggiornamento dovrebbe essere di livello 2 o assumere una forma particolare. Esiste una breve motivazione dall'aspetto variazionale per l'aggiornamento BFGS Hessian come quello per Broyden?

La derivazione del BFGS è più intuitiva se si considerano i funzionali di costo (rigorosamente) convessi:

Tuttavia, alcune di fondo informazioni sono necessarie: Si supponga, si vuole ridurre al minimo un convesso funzionale

$$f(x) \to \min_{x\in \mathbb R^n}.$$ Supponiamo che esista una soluzione approssimativa $x_k$ . Quindi, si approssima il minimo di $f$ con il minimo dell'espansione di Taylor troncata $$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$$ Cioè, si cerca $p$ tale che $(*)$ sia minimo e $x_{k+1} := x_k + p$ . Calcolare il gradiente di $(*)$ - "rispetto a $p$ " - e impostarlo su zero fornisce la relazione $$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$$ dove $H$ è il "giacobino del gradiente" o la matrice hessiana.

Poiché il calcolo e l'inversione dell'Assia sono costosi ...

---

... una risposta breve

(cfr. aggiornamento di Broyden) potrebbe essere che l'aggiornamento BFGS $H_{k+1}^{-1}$ minimizza

$$\|H_k^{-1} - H^{-1}\|_W$$ in una norma di Frobenius ponderata in modo intelligente, soggetto a

1. $H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$ - questo è ciò che si cerca - e
2. $H^T = H$ , perché l'Assia è simmetrica.

---

Quindi la scelta del peso in come l'inverso della media dell'Assia , cfr. qui per l'affermazione ma senza prove, fornisce la formula di aggiornamento di BFGS (con ).$W$$\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$$\alpha_k = 1$

I punti principali sono:

• Si cerca di approssimare la soluzione per i costi effettivi con la soluzione per un'approssimazione quadratica
• Il calcolo dell'Assia, e il suo contrario, è costoso. Uno preferisce semplici aggiornamenti.
• L'aggiornamento è scelto in modo ottimale per l' inverso piuttosto che per l'attuale Assia.
• Che si tratti di un aggiornamento di grado 2 è una conseguenza della particolare scelta dei pesi nella norma Frobenius.

Una risposta più lunga , dovrebbe includere come scegliere i pesi, come far funzionare questo per problemi non convessi (dove appare una condizione di curvatura che richiede un ridimensionamento della direzione di ricerca ) e come derivare la formula effettiva per l'aggiornamento. Un riferimento è qui (in tedesco).$p$