Discesa gradiente e discesa gradiente coniugato

Per un progetto, devo implementare questi due metodi e confrontare le loro prestazioni su diverse funzioni.

Sembra che il metodo del gradiente coniugato abbia lo scopo di risolvere i sistemi di equazioni lineari del for

$$A\mathbf{x} = \mathbf{b}$$

Dove $A$ è una matrice n-by-n simmetrica, definita positiva e reale.

D'altra parte, quando leggo della discesa del gradiente vedo l'esempio della funzione Rosenbrock , che è

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

A mio avviso, non posso risolverlo con un metodo del gradiente coniugato. O mi manca qualcosa?

La discesa gradiente e il metodo del gradiente coniugato sono entrambi algoritmi per ridurre al minimo le funzioni non lineari, ovvero funzioni come la funzione Rosenbrock

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

o una funzione quadratica multivariata (in questo caso con un termine quadratico simmetrico)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

Entrambi i metodi partono da un'ipotesi iniziale, , e quindi calcolano l'iterazione successiva utilizzando una funzione del modulo$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

In parole, il valore successivo di si trova iniziando dalla posizione corrente e spostandosi nella direzione di ricerca per una certa distanza . In entrambi i metodi, la distanza da spostare può essere trovata mediante una ricerca per riga (minimizza su ). Possono essere applicati anche altri criteri. Dove i due metodi differiscono è nella loro scelta di . Per il metodo gradiente, . Per il metodo del gradiente coniugato, la procedura di Grahm-Schmidt viene utilizzata per ortogonalizzare i vettori del gradiente. In particolare, , ma quindi è uguale$x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ meno la proiezione di quel vettore su tale che . Ogni vettore gradiente successivo è ortogonale rispetto a tutti i precedenti, il che porta a proprietà molto belle per la funzione quadratica sopra.$d^0$$(d^1)^Td^0 = 0$

La funzione quadratica di cui sopra (e le relative formulazioni) è anche il punto da cui deriva la discussione sulla soluzione di usando il metodo del gradiente coniugato, poiché il minimo di quella viene raggiunto nel punto dove .$Ax = b$$f(x)$$x$$Ax = b$

In questo contesto, entrambi i metodi possono essere considerati problemi di minimizzazione della funzione: Quando è simmetrico, allora viene minimizzato quando .

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

La discesa gradiente è il metodo che cerca iterativamente un minimizzatore guardando nella direzione del gradiente. Il gradiente coniugato è simile, ma anche le direzioni di ricerca devono essere ortogonali tra loro nel senso che .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$