Perché i miei passi si riducono quando si utilizzano dimensioni di passo fisse in discesa con gradiente?

Supponiamo di fare un esempio di giocattolo su gradiente decente, riducendo al minimo una funzione quadratica , utilizzando la dimensione del gradino fissa . ( )$x^TAx$$\alpha=0.03$$A=[10, 2; 2, 3]$

Se tracciamo la traccia di in ogni iterazione, otteniamo la seguente figura. Perché i punti diventano "molto densi" quando usiamo un passo fisso ? Intuitivamente, non sembra una dimensione del gradino fissa, ma una dimensione del gradino decrescente.$x$

---

PS: il codice R include la trama.

A=rbind(c(10,2),c(2,3))
f <-function(x){
  v=t(x) %*% A %*% x
  as.numeric(v)
}
gr <-function(x){
  v = 2* A %*% x
  as.numeric(v)
}

x1=seq(-2,2,0.02)
x2=seq(-2,2,0.02)
df=expand.grid(x1=x1,x2=x2)
contour(x1,x2,matrix(apply(df, 1, f),ncol=sqrt(nrow(df))), labcex = 1.5, 
        levels=c(1,3,5,10,20,40))
grid()

opt_v=0
alpha=3e-2
x_trace=c(-2,-2)
x=c(-2,-2)
while(abs(f(x)-opt_v)>1e-6){
  x=x-alpha*gr(x)
  x_trace=rbind(x_trace,x)
}
points(x_trace, type='b', pch= ".", lwd=3, col="red")
text(x_trace, as.character(1:nrow(x_trace)), col="red")

$f(x) = \frac 12 x^T A x$$A$$\nabla f(x) = Ax$$A$$A = Q\Lambda Q^T$$y =Q^T x$

$$f(y) = \frac 12 y^T \Lambda y \implies \nabla f(y) = \Lambda y.$$

$\Lambda$

$$y^{(n+1)} = y^{(n)} - \alpha \Lambda y^{(n)} = (I - \alpha \Lambda)y^{(n)} = (I - \alpha \Lambda)^{n+1}y^{(0)}.$$

$1 - \alpha \lambda_i$$|1 - \alpha \lambda_i| < 1$

$$\Lambda \approx \left(\begin{array}{cc} 10.5 & 0 \\ 0 & 2.5\end{array}\right)$$ $$I - \alpha \Lambda \approx \left(\begin{array}{cc} 0.89 & 0 \\ 0 & 0.98\end{array}\right).$$

$\lambda \approx 10.5$$0.98$$1$$\alpha$$(0.98)^n$$\alpha$

Per una discussione molto migliore e più approfondita di ciò, consiglio vivamente https://distill.pub/2017/momentum/ .

$\nabla f=0$

$\alpha \nabla f$$|\nabla f|$$|\Delta f|\rightarrow 0$$f(x)=x$$\alpha$$f(x,y)=x+y^2$$x$