Sensibilità di BFGS alle approssimazioni iniziali dell'Assia

Sto cercando di implementare il metodo Broyden-Fletcher-Goldfarb-Shanno per trovare il minimo di una funzione. Ho bisogno di due ipotesi iniziali $x_{-1}$ & $x_0$ e un'approssimazione iniziale della matrice hessiana $B_0$ . L'unico requisito che trovo per $B_0$ è che se l'Assia è definita simmetrica positiva, lo dovrebbe anche $B_0$ . Guardando a Wikipedia, vedo che una tipica approssimazione iniziale è $B_0=I$ (la matrice dell'identità). È sempre un buon iniziale $B_0$? C'è qualche motivo per cui potrei voler scegliere qualcosa di diverso da $I$? Altre scelte di B, soddisfacendo le stesse proprietà della matrice, influenzerebbero notevolmente la convergenza del metodo?

Se si dispone di un'approssimazione dell'Assia giustificata, è meglio usarlo, piuttosto che l'arbitraria $B_0=I$ .

$x^*$$r>0$$r+1$$r+1$$q=\|B_0^{-1}f''(x^*)-G\|$$<1$$r$$G$della matrice identità. Quindi cercare di rendere questo piccolo è molto prezioso. (Ciò equivale a precondizionare il sistema.) Il fattore di convergenza migliora con il tempo e alla fine si avvicina allo zero (convergenza superlineare), ma in molti problemi reali (specialmente quelli ad alta dimensione), non si fanno mai iterazioni sufficienti per raggiungere il regime superlineare. Quindi la velocità iniziale è abbastanza importante.

Un caso importante è quando si risolvono i problemi dei minimi quadrati non lineari (minimizzare ), dove l'approssimazione di Gauss-Newton dell'Assia iniziale può essere calcolato senza la necessità di derivati ​​secondari. Usarlo rende invariante il metodo BFGS invariante, cioè invariante sotto trasformazioni lineari di come il metodo di Newton, che di solito è molto vantaggioso.$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

Un altro caso importante è quando si risolve una sequenza di problemi correlati. Spesso, il riavvio del solutore con l'approssimazione finale dell'Assia del problema precedente riduce significativamente il numero di iterazioni necessarie.