Comprensione della matematica di AdaGrad e AdaDelta

Ho creato alcuni modelli per un progetto, ma non riesco a avvolgere la testa attorno alla matematica degli algoritmi di Adagrad e Adadelta.

Capisco come funziona la discesa sfumata alla vaniglia e ho scritto un codice per farlo funzionare con successo.

Le sarei grato se qualcuno mi spiegasse queste due cose o fornisse delle risorse per capirle.

Per quanto riguarda le risorse:

• A mio avviso, ADADELTA: un metodo di apprendimento adattivo (il documento originale ADADELTA) spiega (nelle sezioni 1-3) sia ADAGRAD che ADADELTA in un modo abbastanza accessibile.
• Ho trovato che i metodi adattivi per i corsi di laurea per l'apprendimento online e l'ottimizzazione stocastica sono meno accessibili, ma è il documento originale ADAGRAD, quindi probabilmente vale la pena provare.
• Una panoramica degli algoritmi di ottimizzazione della discesa gradiente (un post sul blog di Sebastian Ruder) mi ha anche aiutato a capire sia ADAGRAD che ADADELTA.
  
  

---

Ecco alcune citazioni centrali di ADADELTA: un metodo di tasso di apprendimento adattivo , insieme ad alcuni esempi e brevi spiegazioni:

ADAGRAD

La regola di aggiornamento per ADAGRAD è la seguente:

$$\begin{matrix}\Delta x_{t}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}}g_{t} & & & (5)\end{matrix}$$ Qui il denominatore calcola il $l2$norma di tutti i gradienti precedenti in base alla dimensione e η è un tasso di apprendimento globale condiviso da tutte le dimensioni.
Mentre esiste un tasso di apprendimento globale sintonizzato a mano, ogni dimensione ha un proprio tasso dinamico.

Vale a dire se i gradienti nei primi tre passaggi sono $g_{1}=\left(\begin{gathered}a_{1}\\ b_{1}\\ c_{1} \end{gathered} \right)\,,\,g_{2}=\left(\begin{gathered}a_{2}\\ b_{2}\\ c_{2} \end{gathered} \right)\,,\,g_{3}=\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)$, poi:

$$\begin{gathered}\Delta x_{3}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{3}g_{\tau}^{2}}}g_{3}=-\frac{\eta}{\sqrt{\left(\begin{gathered}a_{1}^{2}+a_{2}^{2}+a_{3}^{2}\\ b_{1}^{2}+b_{2}^{2}+b_{3}^{2}\\ c_{1}^{2}+c_{2}^{2}+c_{3}^{2} \end{gathered} \right)}}\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)\\ \downarrow\\ \Delta x_{3}=-\left(\begin{gathered}\frac{\eta}{\sqrt{a_{1}^{2}+a_{2}^{2}+a_{3}^{2}}}a_{3}\\ \frac{\eta}{\sqrt{b_{1}^{2}+b_{2}^{2}+b_{3}^{2}}}b_{3}\\ \frac{\eta}{\sqrt{c_{1}^{2}+c_{2}^{2}+c_{3}^{2}}}c_{3} \end{gathered} \right) \end{gathered}$$ Qui è più facile vedere che ogni dimensione ha il suo tasso di apprendimento dinamico, come promesso.

Problemi di ADAGRAD che ADADELTA tenta di contrastare

L'idea presentata in questo documento è stata derivata da ADAGRAD al fine di migliorare i due principali svantaggi del metodo: 1) il continuo decadimento dei tassi di apprendimento durante l'addestramento e 2) la necessità di un tasso di apprendimento globale selezionato manualmente.

Il secondo inconveniente è abbastanza autoesplicativo.

Ecco un esempio di quando il primo inconveniente è un problema: si
consideri un caso in cui il valore assoluto di ciascun componente di$g_2$è molto più grande del valore assoluto del rispettivo componente del gradiente in qualsiasi altro passaggio.
Per ogni$t>2$, sostiene che ogni componente di $\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}$ è maggiore del valore assoluto del rispettivo componente di $g_2$. Ma il valore assoluto di ogni componente di$g_2$ è molto più grande del valore assoluto del rispettivo componente di $g_t$, e così $\Delta x_t$è molto piccolo.
Inoltre, man mano che l'algoritmo avanza, si avvicina al minimo, quindi il gradiente si riduce e così via$\Delta x_t$diventa sempre più piccolo.
Pertanto, potrebbe essere che l'algoritmo si fermi praticamente prima di raggiungere un minimo.

ADADELTA

Invece di considerare tutti i gradienti calcolati, ADADELTA considera solo l'ultimo $w$ gradienti.

Dal momento della memorizzazione $w$i gradienti quadrati precedenti sono inefficienti, i nostri metodi implementano questo accumulo come media esponenzialmente decadente dei gradienti quadrati. Assumi al momento$t$ questa media corrente è $E\left[g^{2}\right]_{t}$ quindi calcoliamo:

$$\begin{matrix}E\left[g^{2}\right]_{t}=\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2} & & & (8)\end{matrix}$$ dove $\rho$è una costante di decadimento [...]. Dato che abbiamo bisogno della radice quadrata di questa quantità negli aggiornamenti dei parametri, questa diventa effettivamente la$\text{RMS}$ dei gradienti quadrati precedenti fino a tempo $t$: $$\begin{matrix}\text{RMS}\left[g\right]_{t}=\sqrt{E\left[g^{2}\right]_{t}+\epsilon} & & & (9)\end{matrix}$$ dove una costante $\epsilon$ viene aggiunto per migliorare la condizione del denominatore

($\text{RMS}$sta per Root Mean Square .)

Allo stesso modo:

$$E\left[\Delta x^{2}\right]_{t-1}=\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}$$ $$\text{RMS}\left[\Delta x\right]_{t-1}=\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}$$ E infine:

[...] approssimativo $\Delta x_{t}$ calcolando il decadimento esponenziale $\text{RMS}$ sopra una finestra di dimensioni $w$ del precedente $\Delta x$ per dare il metodo ADADELTA:

$$\begin{matrix}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t} & & & (14)\end{matrix}$$ dove la stessa costante $\epsilon$ viene aggiunto al numeratore $\text{RMS}$anche. Questa costante serve allo scopo sia di iniziare la prima iterazione in cui$\Delta x_{0}=0$e per garantire che continuino a essere fatti progressi anche se gli aggiornamenti precedenti diventano piccoli.
[...]
Il numeratore agisce come un termine di accelerazione, accumulando gradienti precedenti in una finestra di tempo [...]

Cioè se il gradiente al passo $r$ è $g_{r}=\left(\begin{gathered}a_{r}\\ b_{r}\\ c_{r} \end{gathered} \right)$ e $\Delta x_{r}=\left(\begin{gathered}i_{r}\\ j_{r}\\ k_{r} \end{gathered} \right)$, poi:

$$\begin{gathered}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t}=-\frac{\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}}{\sqrt{E\left[g^{2}\right]_{t}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho\left(\rho E\left[\Delta x^{2}\right]_{t-3}+\left(1-\rho\right)\Delta x_{t-2}^{2}\right)+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho\left(\rho E\left[g^{2}\right]_{t-2}+\left(1-\rho\right)g_{t-1}^{2}\right)+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{2}E\left[\Delta x^{2}\right]_{t-3}+p^{1}\left(1-\rho\right)\Delta x_{t-2}^{2}+p^{0}\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho^{2}E\left[g^{2}\right]_{t-2}+p^{1}\left(1-\rho\right)g_{t-1}^{2}+p^{0}\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{t-1}E\left[\Delta x^{2}\right]_{0}+\overset{t-1}{\underset{r=1}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\rho^{t-1}E\left[g^{2}\right]_{1}+\overset{t}{\underset{r=2}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t} \end{gathered}$$

$\rho$ è una costante di decadimento, quindi la scegliamo tale $\rho\in\left(0,1\right)$ (tipicamente $\rho\ge0.9$).
Pertanto, moltiplicando per un alto potere di$\rho$risulta in un numero molto piccolo.
Permettere$w$ essere l'esponente più basso in modo tale da considerare il prodotto moltiplicando i valori sani per $\rho^w$trascurabile.
Ora possiamo approssimare$\Delta x_{t}$ rilasciando termini trascurabili:

$$\begin{gathered}\Delta x_{t}\approx-\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\left(\begin{gathered}i_{r}^{2}\\ j_{r}^{2}\\ k_{r}^{2} \end{gathered} \right)+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)\left(\begin{gathered}a_{r}^{2}\\ b_{r}^{2}\\ c_{r}^{2} \end{gathered} \right)+\epsilon}}\left(\begin{gathered}a_{t}\\ b_{t}\\ c_{t} \end{gathered} \right)\\ \downarrow\\ \Delta x_{t}\approx-\left(\begin{gathered}\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)i_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)a_{r}^{2}+\epsilon}}a_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)j_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)b_{r}^{2}+\epsilon}}b_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)k_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)c_{r}^{2}+\epsilon}}c_{t} \end{gathered} \right) \end{gathered}$$

Da quora troverai una guida più completa, ma le idee principali sono che AdaGrad cerca di risolvere questi problemi nella selezione del tasso di apprendimento del gradiente nell'apprendimento automatico:

1 Selezione manuale della frequenza di apprendimento η.

2 Il vettore gradiente gt viene ridimensionato uniformemente da una velocità di apprendimento scalare η.

3 Il tasso di apprendimento η rimane costante durante tutto il processo di apprendimento.

Risolve i problemi 2 e 3 semplicemente dividendo ogni componente del gradiente corrente per una norma L2 dei gradienti osservati in passato per quel particolare componente.

Ha in sé i seguenti problemi:

1 Tasso di apprendimento in continuo decadimento η.

2 Selezione manuale della frequenza di apprendimento η.

AdaDelta risolve la preoccupazione 1 di AdaGrad sommando i gradienti solo all'interno di una determinata finestra W.

La soluzione per quanto riguarda 2 riguarda la mancata corrispondenza in unità di gradiente e quindi

l'attuale processo di accumulo viene implementato usando un concetto di momentum.

L'ultimo calcolo deve essere compreso sulla teoria del momentum ed è stato brevemente spiegato in questo articolo.

La mia idea era quella di dare le cause principali dietro ciò che era previsto, forse per facilitare la lettura.