Perché anche gli RNN con unità LSTM possono soffrire di "gradienti esplosivi"?

Ho una conoscenza di base di come funzionano gli RNN (e, in particolare, con le unità LSTM). Ho un'idea pittorica dell'architettura di un'unità LSTM, ovvero una cella e alcune porte, che regolano il flusso di valori.

Tuttavia, a quanto pare, non ho compreso appieno come LSTM risolva il problema dei "gradienti che svaniscono ed esplodono", che si verifica durante l'allenamento, usando la retro-propagazione nel tempo, un RNN convenzionale. Non ho avuto l'opportunità di leggere i giornali per comprendere appieno la matematica.

Questa risposta fornisce una breve spiegazione di come gli RNN con unità LSTM risolvono il problema dei "gradienti di fuga". Matematicamente, la ragione sembra essere l'inesistenza di un derivato che non svanisce, cioè non tende a zero. Di conseguenza, l'autore afferma che "esiste almeno un percorso in cui il gradiente non svanisce". IMHO, questa spiegazione è un po 'vaga.

Nel frattempo, stavo leggendo l'articolo Sequence to Sequence Learning with Neural Networks (di Ilya Sutskever, Oriol Vinyals, Quoc V. Le) e, in quell'articolo, la sezione "3.4 Dettagli dell'allenamento", si afferma

Sebbene gli LSTM tendano a non soffrire del problema del gradiente in via di estinzione, possono avere gradienti che esplodono.

Ho sempre pensato che gli RNN con unità LSTM risolvessero sia i problemi "in via di estinzione" che "gradienti che esplodono", ma, a quanto pare, anche gli RNN con unità LSTM soffrono di "gradienti in esplosione".

Intuitivamente, perché? Matematicamente, quali sono le ragioni?

Una risposta molto breve:

LSTM disaccoppia lo stato delle celle (in genere indicato da c) e lo strato / output nascosto (in genere indicato da h) e esegue solo aggiornamenti additivi per crendere le memorie cpiù stabili. Pertanto, il gradiente scorre attraverso di esso cè mantenuto e difficile da eliminare (pertanto il gradiente complessivo è difficile da eliminare). Tuttavia, altri percorsi possono causare un'esplosione gradiente.

Una risposta più dettagliata con spiegazione matematica:

tt+1$dl/dc^{t}$yh$\delta c^t = \dots + \delta c^{t+1} \odot f^{t+1}$$f^{t+1}$$\delta c^{t+1}$$\delta c^t$

$c^{t}$$c^{t+1}$$y^t \rightarrow o^{t+1} \rightarrow y^{t+1}$$\delta y^t \leftarrow R^T_o \delta o^{t+1} \leftarrow \delta y^{t+1} \leftarrow R^T_o \delta o^{t+2}$$R^T_o$$R^T_i, R^T_f, R^T_z$

Riferimento:

K. Greff, RK Srivastava, J. Koutn´ık, BR Steunebrink e J.Schmidhuber. LSTM: un'odissea nello spazio di ricerca. CoRR, abs / 1503.04069, 2015.

Tuttavia ci sono ancora alcuni percorsi attraverso i quali il gradiente potrebbe diventare instabile, e più grande è la rete, più è probabile che incontrerai questo problema.