Comprensione delle condizioni di Wolfe per una ricerca inesatta della linea


12

Secondo Nocedal & Wright's Book Numerical Optimization (2006), le condizioni di Wolfe per una ricerca inesatta della linea sono, per una direzione di discesa ,p

Riduzione sufficiente: Condizione di curvatura: per∇ f ( x + α p ) T p ≥ c 2 ∇ f ( x ) T p 0 < c 1 < c 2 < 1f(x+αp)≤f(x)+c1αk∇f(x)Tp
∇f(x+αp)Tp≥c2∇f(x)Tp
0<c1<c2<1

Vedo come la condizione di riduzione sufficiente indica che il valore della funzione nel nuovo punto deve essere sotto la tangente in . Ma non sono sicuro di ciò che la condizione di curvatura mi sta dicendo geometricamente. Inoltre, perché deve essere imposta la relazione ? Cosa compie questo, geometricamente?x c 1 < c 2x+αpxc1<c2

Risposte:


12

La condizione di curvatura dice sostanzialmente questo: Sappiamo che (perché è una direzione di discesa). Quindi, in direzione , scende. Ora stiamo cercando un minimo, ovvero un punto in cui . Ciò significa che non vogliamo accettare lunghezze di passo dove il gradiente nella direzione , cioè, è ancora negativo come lo è in x. Piuttosto, vogliamo fermarci in un punto in cui il gradiente è meno negativo o addirittura positivo.p p∇f(x)⋅p<0ppx + α p p ∇ f ( x + α p ) ⋅ p∇f=0x+αpp∇f(x+αp)⋅p

Poiché il lato destro della condizione di curvatura è negativo, una variante comune della condizione è richiedereche di solito trovo più facile da capire.

|∇f(x+αp)⋅p|≤c2|∇f(x)⋅p|

Comprendere questo ti permetterà di costruire facilmente casi in cui non puoi soddisfare entrambe le condizioni a meno che .c1<c2


Quindi, indipendentemente dalla funzione regolare scelta, l'impostazione di comporterà il mancato soddisfacimento della condizione di riduzione o curvatura sufficiente? c 2 < c 1fc2<c1
— Paolo

1
No, viceversa. Se scegli allora ci sono funzioni cui una delle due condizioni non è soddisfatta anche se hai una direzione di discesa. In tal caso, la ricerca di linee non trova una lunghezza del passo. f ( x )c2<c1f(x)
— Wolfgang Bangerth,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.