Statistiche e Big Data lstm

2

Perché anche gli RNN con unità LSTM possono soffrire di "gradienti esplosivi"?

Ho una conoscenza di base di come funzionano gli RNN (e, in particolare, con le unità LSTM). Ho un'idea pittorica dell'architettura di un'unità LSTM, ovvero una cella e alcune porte, che regolano il flusso di valori. Tuttavia, a quanto pare, non ho compreso appieno come LSTM risolva il problema dei …

13 neural-networks lstm rnn backpropagation

2

Differenza tra una singola rete LSTM e una rete neurale LSTM a 3 unità

LSTM nel seguente codice Keras input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) può essere rappresentato come Capisco che quando chiamiamo model.predict(np.array([[[1],[2],[3],[4]]]))la (sola) unità LSTM prima elabora il vettore [1], quindi [2] più il feedback dall'input precedente e così via fino al vettore [4]. In altre …

12 machine-learning neural-networks lstm keras

2

Gestire parole sconosciute nelle attività di modellazione del linguaggio usando LSTM

Per un'attività di elaborazione del linguaggio naturale (NLP) si usano spesso i vettori word2vec come incorporamento per le parole. Tuttavia, potrebbero esserci molte parole sconosciute che non vengono catturate dai vettori word2vec semplicemente perché queste parole non vengono visualizzate abbastanza spesso nei dati di addestramento (molte implementazioni usano un conteggio …

11 natural-language word2vec lstm word-embeddings

3

Struttura della rete neurale ricorrente (LSTM, GRU)

Sto cercando di capire l'architettura degli RNN. Ho trovato questo tutorial molto utile: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Soprattutto questa immagine: Come si inserisce in una rete feed-forward? Questa immagine è solo un altro nodo in ogni livello?

10 neural-networks lstm

1

Comprensione della topologia LSTM

Come molti altri, ho trovato le risorse qui e qui per essere immensamente utili per comprendere le cellule LSTM. Sono fiducioso di capire come i valori scorrono e vengono aggiornati e sono abbastanza sicuro di aggiungere anche le "connessioni spioncino" menzionate, ecc. Nel mio esempio, ho ad ogni passo un …

9 machine-learning neural-networks lstm rnn

1

Previsione di serie storiche usando ARIMA vs LSTM

Il problema con cui ho a che fare è prevedere i valori delle serie temporali. Sto guardando una serie temporale alla volta e, ad esempio, basandomi sul 15% dei dati di input, vorrei prevederne i valori futuri. Finora mi sono imbattuto in due modelli: LSTM (memoria a breve termine; una …

9 time-series forecasting references arima lstm

2

Migliore utilizzo di LSTM per la previsione di eventi all'interno della sequenza

Assumi la seguente sequenza 1 dimensionale: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Le lettere A, B, C, ..qui rappresentano eventi "ordinari". I simboli #, $, %, ...qui rappresentano eventi "speciali" La spaziatura temporale tra tutti gli eventi è non uniforme …

9 time-series deep-learning rare-events lstm sequential-pattern-mining

Domande taggate «lstm»