Confusione sulla regola dell'Armijo

Ho questa confusione sulla regola di Armijo usata nella ricerca di linee. Stavo leggendo indietro la ricerca della linea di tracciamento ma non ho capito di cosa tratta questa regola di Armijo. Qualcuno può elaborare quale sia la regola dell'Armijo? La Wikipedia non sembra spiegare bene. Grazie

optimization

— user34790
fonte

E se nell'equazione la variabile x non è un vettore ma una matrice? Come dovrebbe essere aggiornata la regola Armijo?

— Frank Puk,

niente cambia. dovresti semplicemente rimodellare la tua matrice

in un vettore (colonna)

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies,

È lì che mi sono bloccato. Quando

diventa una matrice, il valore sul lato sinistro (

) è ancora uno scalare. Ma il valore sul lato destro non è - invece, è una matrice (

è uno scalare e

è una matrice.)

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— Frank Puk

dovrai lavorare con un vettore, non con una matrice. quindi rimodelli la tua matrice

di variabili di controllo (l'ho indicata con

) in un vettore

con

elementi. La direzione della ricerca e il gradiente saranno anche vettori con

elementi. in questo modo sia l'RHS che l'LHS della condizione di Armijo sono scalari e possono essere confrontati.

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

— GoHokies,

Risposte:

Una volta ottenuta la direzione di discesa per la funzione obiettivo , è necessario selezionare una lunghezza del passo "buona". Non vuoi fare un passo troppo grande in modo tale che la funzione nel tuo nuovo punto sia più grande di quella attuale. Allo stesso tempo, non vuoi rendere il tuo passo troppo piccolo in modo tale che ci vuole un'eternità per convergere. $p$ $f(x)$

Le condizioni di Armijo suggeriscono fondamentalmente che una "buona" lunghezza del passo è tale da avere una "diminuzione sufficiente" in nel nuovo punto. La condizione è matematicamente definita come dove è una direzione di discesa in e . $f$

f (X_{K} + α p_{K}) \leq f (X_{K}) + β α \nabla f (X_{K})^{T} p_{K}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

L'intuizione alla base di ciò è che il valore della funzione nel nuovo punto dovrebbe essere sotto la "linea tangente" ridotta a nella direzione di . Vedi il libro di Nocedal & Wright "Ottimizzazione numerica". Nel capitolo 3, c'è un'eccellente descrizione grafica della condizione di riduzione sufficiente di armijo. $f(x_k+\alpha p_k)$ $x_k$ $p_k$

— Paolo
fonte

Invece di pensarla come una linea tangente, puoi anche pensarla come l'espansione di Taylor del primo ordine. In questo caso, il

garantisce semplicemente l' esistenza di tale dimensione

gradino .

β

$\beta$

α

$\alpha$

— cjordan1,

La ragione per cui questo è importante, cioè perché è necessario un "buon" passo, è che molti schemi di ottimizzazione convergeranno più lentamente, come dice Paul, o potrebbero non convergere affatto. Quindi le ricerche di linea - disponibili in diverse varietà, Armijo è solo la più popolare - possono essere utilizzate per dare agli algoritmi proprietà di convergenza più robuste.

— cjordan1,

Paolo: la tua spiegazione è incompleta. Questa disuguaglianza da sola non garantisce la diminuzione "sufficiente". In effetti, puoi avere alpha = 0 e soddisfa ancora la disuguaglianza che hai scritto. Una caratteristica importante è che la regola di Armijo è quella di limitare la dimensione del passo a partire da zero, il che è fatto da un'altra disuguaglianza: f (gamma * x_new) -f (x_old)> beta * (gamma * x_new-x_old) ^ T * grad (f (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

Cinque anni dopo, questa domanda è ancora valida.

Qui (pagine 16 e 17) puoi trovare un'ottima spiegazione, incluso un algoritmo.

— Bojan Hrnkas
fonte