Statistiche e Big Data lstm

4

In che modo LSTM previene il problema del gradiente evanescente?

LSTM è stato inventato appositamente per evitare il problema del gradiente di sparizione. Si suppone che lo faccia con il Constant Error Carousel (CEC), che sul diagramma sottostante (da Greff et al. ) Corrisponde al loop attorno alla cella . (fonte: deeplearning4j.org ) E capisco che quella parte può essere …

35 neural-networks lstm

5

Comprensione delle unità LSTM rispetto alle celle

Ho studiato LSTM per un po '. Capisco ad alto livello come funziona tutto. Tuttavia, andando a implementarli usando Tensorflow, ho notato che BasicLSTMCell richiede un numero di unità (es. num_units) Parametro. Da questa spiegazione molto approfondita degli LSTM, ho scoperto che una singola unità LSTM è una delle seguenti …

32 neural-networks terminology lstm rnn tensorflow

1

La perdita di allenamento scende e sale di nuovo. Che cosa sta succedendo?

La mia perdita di allenamento diminuisce e poi aumenta di nuovo. È molto strano. La perdita di convalida incrociata tiene traccia della perdita di addestramento. Cosa sta succedendo? Ho due LSTMS in pila come segue (su Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) …

26 machine-learning neural-networks loss-functions lstm

3

Quali sono i vantaggi di impilare più LSTM?

Quali sono i vantaggi, perché si dovrebbero usare più LSTM, accatastati uno accanto all'altro, in una rete profonda? Sto usando un LSTM per rappresentare una sequenza di input come un singolo input. Quindi una volta che ho quella singola rappresentazione, perché dovrei passarla di nuovo? Lo sto chiedendo perché l'ho …

25 classification neural-networks deep-learning lstm rnn

1

Quali sono esattamente i meccanismi di attenzione?

Negli ultimi anni sono stati utilizzati meccanismi di attenzione in vari articoli di Deep Learning. Ilya Sutskever, responsabile della ricerca presso Open AI, li ha entusiasti con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello alla Purdue University ha affermato che le RNN e le LSTM dovrebbero essere abbandonate a favore di reti neurali …

23 time-series deep-learning lstm rnn attention

3

Comprensione del parametro input_shape in LSTM con Keras

Sto cercando di usare l'esempio descritto nella documentazione di Keras denominata "Stacked LSTM per la classificazione delle sequenze" (vedere il codice seguente) e non riesco a capire il input_shapeparametro nel contesto dei miei dati. Ho come input una matrice di sequenze di 25 possibili caratteri codificati in numeri interi in …

20 lstm keras shape dimensions

4

Differenza tra feedback RNN e LSTM / GRU

Sto cercando di comprendere diverse architetture di reti neurali ricorrenti (RNN) da applicare ai dati delle serie temporali e mi sto confondendo un po 'con i diversi nomi che vengono frequentemente utilizzati nella descrizione di RNN. La struttura della memoria a breve termine (LSTM) e della Gated Recurrent Unit (GRU) …

20 neural-networks lstm rnn

2

Quali metodi di ottimizzazione funzionano meglio per gli LSTM?

Ho usato theano per sperimentare LSTM e mi chiedevo quali metodi di ottimizzazione (SGD, Adagrad, Adadelta, RMSprop, Adam, ecc.) Funzionino meglio per gli LSTM? Ci sono articoli di ricerca su questo argomento? Inoltre, la risposta dipende dal tipo di applicazione per cui sto usando LSTM? In tal caso, sto usando …

20 machine-learning neural-networks optimization lstm

3

Perché i pesi delle reti RNN / LSTM sono condivisi nel tempo?

Di recente mi sono interessato agli LSTM e sono stato sorpreso di apprendere che i pesi sono condivisi nel tempo. So che se condividi i pesi nel tempo, le sequenze temporali di input possono avere una lunghezza variabile. Con i pesi condivisi hai molti meno parametri da allenare. Secondo la …

20 machine-learning lstm rnn

3

Utilizzo di RNN (LSTM) per prevedere i vettori della serie temporale (Theano)

Ho un problema molto semplice ma non riesco a trovare lo strumento giusto per risolverlo. Ho una sequenza di vettori della stessa lunghezza. Ora vorrei addestrare LSTM RNN sul treno campione di queste sequenze e poi farlo predire una nuova sequenza di vettori di lunghezza basata su diversi vettori di …

19 neural-networks python lstm

3

Differenza tra campioni, fasi temporali e caratteristiche nella rete neurale

Sto esaminando il seguente blog sulla rete neurale LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ L'autore rimodella il vettore di input X come [campioni, intervalli di tempo, funzionalità] per diverse configurazioni di LSTM. L'autore scrive In effetti, le sequenze di lettere sono fasi temporali di una funzione anziché una fase temporale di funzioni separate. Abbiamo …

17 neural-networks lstm rnn tensorflow tensor

1

Qual è la lunghezza di sequenza possibile per un modello RNN da modellare?

Sto esaminando l'utilizzo di una versione LSTM ( memoria a breve termine ) di una rete neurale ricorrente (RNN) per la modellazione dei dati di serie temporali. All'aumentare della lunghezza della sequenza dei dati, aumenta la complessità della rete. Sono quindi curioso di sapere quale lunghezza delle sequenze sarebbe possibile …

15 neural-networks deep-learning lstm

1

RNN: quando applicare BPTT e / o aggiornare i pesi?

Sto cercando di capire l'applicazione ad alto livello di RNN per l'etichettatura in sequenza tramite (tra gli altri) il documento di Graves del 2005 sulla classificazione dei fonemi. Riassumendo il problema: disponiamo di un ampio set di formazione costituito da file audio (di input) di singole frasi e orari di …

15 lstm rnn

1

Prevenire l'overfitting di LSTM su piccoli set di dati

Sto modellando 15000 tweet per la previsione del sentimento usando un LSTM a singolo strato con 128 unità nascoste usando una rappresentazione simile a word2vec con 80 dimensioni. Ottengo una precisione di discesa (38% con casuale = 20%) dopo 1 epoca. Un ulteriore addestramento fa declinare l'accuratezza della convalida man …

13 deep-learning regularization overfitting lstm

1

Come addestrare il livello LSTM della rete profonda

Sto usando una rete lstm e feed-forward per classificare il testo. Converto il testo in vettori one-hot e inserisco ciascuno in lstm in modo da poterlo riassumere in un'unica rappresentazione. Quindi lo invio all'altra rete. Ma come posso addestrare lstm? Voglio solo classificare in sequenza il testo: dovrei dargli da …

13 classification neural-networks deep-learning lstm

Domande taggate «lstm»