Qual è l'intuizione dietro una rete neurale ricorrente a memoria a breve termine (LSTM)?

L'idea alla base di Recurrent Neural Network (RNN) mi è chiara. Lo capisco nel modo seguente:
abbiamo una sequenza di osservazioni ( ) (o, in altre parole, serie temporali multivariate). Ogni singola osservazione$\vec o_1, \vec o_2, \dots, \vec o_n$$\vec o_i$ è un $N$ -dimensionale vettore numerico. Nel modello RNN assumiamo che l'osservazione successiva $\vec o_{i+1}$ sia una funzione dell'osservazione precedente $\vec o_{i}$ nonché del precedente "stato nascosto" $\vec h_i$, dove gli stati nascosti sono anche rappresentati da vettori numerici (le dimensioni degli stati osservati e nascosti possono essere diverse). Si presume anche che gli stati nascosti dipendano dall'osservazione precedente e dallo stato nascosto:

$\vec o_i, \vec h_i = F (\vec o_{i-1}, \vec h_{i-1})$

Infine, nel modello RNN, si assume che la funzione $F$ sia una rete neurale. Formiamo (adattiamo) la rete neurale usando i dati disponibili (una sequenza di osservazioni). Il nostro obiettivo nella formazione è di essere in grado di prevedere l'osservazione successiva nel modo più accurato possibile utilizzando le osservazioni precedenti.

Ora, la rete LSTM è una modifica della rete RNN. Per quanto ho capito, la motivazione alla base di LSTM è quella di risolvere il problema della memoria corta che è peculiare di RNN (l'RNN convenzionale ha problemi con eventi relativi che sono troppo distanti nel tempo).

Capisco come funzionano le reti LSTM. Ecco la migliore spiegazione di LSTM che ho trovato. L'idea di base è la seguente:

Oltre al vettore di stato nascosto introduciamo un cosiddetto vettore di "stato di cella" che ha le stesse dimensioni (dimensionalità) del vettore di stato nascosto ( $\vec c_i$ ). Penso che il vettore di "stato cellulare" sia stato introdotto per modellare la memoria a lungo termine. Come nel caso dell'RNN convenzionale, la rete LSTM ottiene lo stato osservato e nascosto come input. Usando questo input, calcoliamo un nuovo "stato di cella" nel modo seguente:

$\vec c_{i+1} = \vec \omega_1 (\vec o_i, \vec h_i) \cdot \vec c_i + \vec \omega_2 (\vec o_i, \vec h_i) \cdot \vec c_{int} (\vec o_i, \vec h_i),$

dove le funzioni di $\vec \omega_1$ , $\vec \omega_2$ e $\vec c_{int}$ sono modellate da reti neurali. Per semplificare l'espressione, rimuovo semplicemente gli argomenti:

$\vec c_{i+1} = \vec \omega_1 \cdot \vec c_i + \vec \omega_2 \cdot \vec c_{int}$

Quindi, possiamo vedere che il nuovo "vettore di stato cellulare" ( $\vec c_i$ ) è una somma ponderata del vecchio vettore di stato ( $\vec c_{i-1}$ ) e un vettore di stato di cella "intermedio" ( $\vec c_{int}$ ). La moltiplicazione tra i vettori è basata sul componente (moltiplichiamo due vettori di dimensione N e otteniamo, di conseguenza, un altro vettore di dimensione N). In altre parole, mescoliamo due vettori di stati cellulari (quello vecchio e quello intermedio) usando pesi specifici dei componenti.

Ecco l'intuizione tra le operazioni descritte. Il vettore di stato della cella può essere interpretato come un vettore di memoria. Il secondo vettore di pesi $\vec \omega_2$ (calcolato da una rete neurale) è un cancello "keep" (o dimentico). I suoi valori decidono se mantenere o dimenticare (cancellare) un valore corrispondente dal vettore di stato della cella (o vettore di memoria a lungo termine). Il primo vettore di pesi ( $\omega_1$ ), che viene calcolato da un'altra rete neurale, è chiamato gate "write" o "memorize". Decide se una nuova memoria (il vettore di stato di cella "intermedio") deve essere salvata (o più precisamente, se un particolare componente di essa deve essere salvato / scritto). "Intermedio"$\vec \omega_1$vettore). In realtà, sarebbe più preciso affermare che con i due vettori pesi ($\vec \omega_1$e$\vec \omega_2$) "mescoliamo" il vecchio e il nuovo ricordo.

$\vec o_i$$\vec h_i$$\vec h_{int}$

$\vec h_{i+1} = \vec h_{int} \cdot S(\vec c_{i+1}),$

$S$

Quindi, la mia domanda è: perché (o come esattamente) questa architettura risolve il problema?

In particolare non capisco quanto segue:

1. Usiamo una rete neurale per generare una memoria "intermedia" (vettore di stato di cella) che viene mescolata con la "vecchia" memoria (o stato di cella) per ottenere una "nuova" memoria (stato di cella). I fattori di ponderazione per la miscelazione sono calcolati anche da reti neurali. Ma perché non possiamo usare solo una rete neurale per calcolare il "nuovo" stato cellulare (o memoria). O, in altre parole, perché non possiamo usare lo stato osservato, lo stato nascosto e la vecchia memoria come input per una rete neurale che calcola la "nuova" memoria?
2. Alla fine usiamo gli stati osservati e nascosti per calcolare un nuovo stato nascosto e quindi usiamo la "nuova" memoria dello stato di cella (o memoria (a lungo termine)) per correggere il componente dello stato nascosto appena calcolato. In altre parole, i componenti dello stato della cella vengono utilizzati come pesi che riducono solo i componenti corrispondenti dello stato nascosto calcolato. Ma perché il vettore di stato cellulare viene utilizzato in questo modo particolare? Perché non possiamo calcolare il nuovo stato nascosto inserendo il vettore dello stato della cella (memoria a lungo termine) nell'input di una rete neurale (che prende anche gli stati osservati e nascosti come input)?

Inserito il:

Ecco un video che potrebbe aiutare a chiarire come sono organizzate le diverse porte ("keep", "write" e "read").

Quando capisco le tue domande, quello che immagini sostanzialmente sta concatenando l'input, lo stato nascosto precedente e lo stato della cella precedente e passando attraverso uno o più layer completamente collegati per calcolare lo stato nascosto e lo stato della cella di output, anziché calcolare indipendentemente "gated "aggiornamenti che interagiscono aritmeticamente con lo stato della cella. Questo in sostanza creerebbe un normale RNN che emette solo parte dello stato nascosto.

Il motivo principale per non farlo è che la struttura dei calcoli dello stato cellulare di LSTM garantisce un flusso costante di errori attraverso lunghe sequenze . Se hai usato i pesi per calcolare direttamente lo stato della cella, dovresti riprogrammarli attraverso ogni passaggio! Evitare tali operazioni risolve ampiamente i gradienti di esplosione / di fuga che altrimenti affliggono gli RNN.

Inoltre, la capacità di conservare facilmente le informazioni per periodi di tempo più lunghi è un bel vantaggio. Intuitivamente, sarebbe molto più difficile per la rete imparare da zero per preservare lo stato della cella per lunghi periodi di tempo.

Vale la pena notare che l'alternativa più comune a LSTM, il GRU , calcola allo stesso modo gli aggiornamenti dello stato nascosto senza apprendere pesi che operano direttamente sullo stato nascosto stesso.

Se ho capito correttamente entrambe le tue domande si riducono a questo. Due luoghi in cui utilizziamo sia tanh che sigmoid per l'elaborazione delle informazioni. Invece, dovremmo usare un'unica rete neurale che raccoglie tutte le informazioni.

Non conosco gli svantaggi dell'utilizzo di una singola rete neurale. A mio avviso, possiamo usare una singola rete neurale con non linearità sigmoidea che apprende correttamente il vettore che verrà usato in modo appropriato (aggiunto nello stato di cella nel primo caso o passato come stato nascosto nel secondo caso).

Tuttavia, nel modo in cui lo stiamo facendo ora stiamo rompendo l'attività in due parti, una parte che utilizza la non linearità sigmoide per apprendere la quantità di dati da conservare. L'altra parte che usa l'abbronzatura come non linearità sta semplicemente facendo il compito di apprendere l'informazione che è importante.

In parole povere, sigmoid impara quanto risparmiare e tanh impara cosa salvare e romperlo in due parti faciliterà l'allenamento.