Aiuta a decidere tra l'interpolazione cubica e quadratica nella ricerca di linee

Sto eseguendo una ricerca di linea come parte di un algoritmo BFGS quasi-Newton. In un passaggio della ricerca della linea utilizzo un'interpolazione cubica per avvicinarmi al minimizer locale.

Sia la funzione di interesse. Voglio trovare un tale che .x ∗ f ′ ( x ∗ ) ≈ $f : R \rightarrow R, f \in C^1$$x^*$$f'(x^*) \approx 0$

Sia noto , f ′ ( x k ) , f ( x k + 1 ) e f ′ ( x k + 1 ) . Supponi anche 0 ≤ x k < x ∗ < x k + 1 . Io inserisco un polinomio cubico Q ( x ) = a x 3 + b x 2 + c x + d$f(x_k)$$f'(x_k)$$f(x_{k+1})$$f'(x_{k+1})$$0\le x_k<x^*<x_{k+1}$$Q(x)=ax^3+bx^2+cx+d$in modo che , Q ′ ( 0 ) = f ′ ( x k ) , Q ( x k + 1 - x k ) = f ( x k + 1 ) e Q ′ ( x k + 1 - x k ) = f ′ ( $Q(0)=f(x_k)$$Q'(0)=f'(x_k)$$Q(x_{k+1}-x_{k})=f(x_{k+1})$.$Q'(x_{k+1}-x_{k})=f'(x_{k+1})$

Risolvo l'equazione quadratica: per la mia cercata x ∗ usando la soluzione a forma chiusa.$(1): Q'(x^*-x_k) = 0$$x^*$

Quanto sopra funziona bene nella maggior parte dei casi, tranne quando quanto la soluzione in forma chiusa per ( 1 ) si divide per un che diventa molto vicino o esattamente 0 .$f(x)=\mathcal{O}(x^2)$$(1)$$a$$0$

La mia soluzione è quella di guardare e se è "troppo piccolo" semplicemente prendere la soluzione in forma chiusa per la Minimizer del polinomio quadratico Q 2 ( x ) = b x 2 + c x + d per il quale ho già i coefficienti b , c , d dal precedente adattamento a Q ( x ) .$a$$Q_2(x)=bx^2+cx+d$$b,c,d$$Q(x)$

La mia domanda è: come posso escogitare un buon test per quando eseguire l'interpolazione quadratica sul cubo? L'approccio ingenuo di prova per è male a causa di motivi numerici in modo da sto guardando | a | < ϵ τ dove ϵ è la precisione della macchina, ma non sono in grado di decidere un buon τ che sia invariante in scala di f .$a \equiv 0$$|a| < \epsilon\tau$$\epsilon$$\tau$$f$

Domanda bonus: ci sono problemi numerici con l'uso dei coefficienti, , dall'adattamento cubico fallito o dovrei eseguire un nuovo adattamento quadratico con il modo appropriato di calcolare i coefficienti?$b,c,d$

Modifica per chiarimento: Nella mia domanda è in realtà ciò che viene comunemente chiamato ϕ ( α ) = f ( ˉ x k + α ¯ p k ) in letteratura. Ho appena semplificato la formulazione della domanda. Il problema di ottimizzazione che sto risolvendo non è lineare in 6 dimensioni. E sono ben consapevole che le condizioni di Wolfe sono sufficienti per la ricerca della linea BFGS, quindi affermando che ero interessato a f ′ ( x ∗ ) ≈ $f$$\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$$f'(x^*) \approx 0$; Sto cercando qualcosa che soddisfi le forti condizioni di Wolfe e prendere il minimizzatore dell'approssimazione cubica è un buon passo lungo la strada.

La domanda non riguardava BFGS, ma piuttosto come determinare quando il coefficiente cubico è abbastanza piccolo da rendere più appropriata un'approssimazione quadratica.

Modifica 2: Aggiorna notazione, le equazioni sono invariate.

Hmm ... l'interpolazione cubica non è inaudita per la ricerca di linee, ma in genere è eccessiva.

Se sto leggendo correttamente il tuo problema, è solo uno scalare? In questo caso BFGS non è probabilmente il modo più efficiente per risolvere il tuo problema. È probabile che algoritmi di ottimizzazione scalare come il metodo di Brenth risolvano il problema più rapidamente.$x$

Esistono numerosi algoritmi di ricerca di linee per BFGS. Per le mie applicazioni, usando la memoria limitata BFGS (L-BFGS) questa ricerca di linee funziona molto bene. Ricorda che devi solo soddisfare le condizioni di Wolfe e probabilmente non otterrai molto trovando il minimizzatore esatto.

Ad ogni modo, per rispondere effettivamente alla tua domanda: considererei semplicemente il passaggio al polinomio quadratico se risolvere quello cubico produce valori "cattivi" come NaN o Inf (come si fa qui ).

Non sono sicuro di cosa intendi usando ? Questi coefficienti per l'adattamento cubico non saranno gli stessi dell'adattamento quadratico, quindi non è possibile riutilizzarli.$b,c,d$

Infine, si consiglia di utilizzare , piuttosto che f ( x 0 ) , come la funzione sarà (probabilmente) essere solo approssimativamente cubica o quadratica a livello locale, e x k e x k - 1 dovrebbe essere più vicino a l'un l'altro (e la soluzione) di x 0 .$f(x_{k-1})$$f(x_0)$$x_k$$x_{k-1}$$x_0$

Spero che sia di aiuto.

C'è un articolo di Moré, implementato da Nocedal, al riguardo:

Jorge J. Moré e David J. Thuente. 1994. Algoritmi di ricerca di linee con riduzione sufficiente garantita. ACM Trans. Matematica. Softw. 20, 3 (settembre 1994), 286-307. DOI http://dx.doi.org/10.1145/192115.192132 ( prestampa ).