Statistiche e Big Data rnn

3

Qual è la differenza tra reti neurali feed-forward e ricorrenti?

Qual è la differenza tra una rete neurale feed-forward e ricorrente ? Perché dovresti usarne uno sopra l'altro? Esistono altre topologie di rete?

59 machine-learning neural-networks terminology rnn topologies

5

Comprensione delle unità LSTM rispetto alle celle

Ho studiato LSTM per un po '. Capisco ad alto livello come funziona tutto. Tuttavia, andando a implementarli usando Tensorflow, ho notato che BasicLSTMCell richiede un numero di unità (es. num_units) Parametro. Da questa spiegazione molto approfondita degli LSTM, ho scoperto che una singola unità LSTM è una delle seguenti …

32 neural-networks terminology lstm rnn tensorflow

2

Significato (e prova) di "RNN può approssimare qualsiasi algoritmo"

Recentemente ho letto che una rete neurale ricorrente può approssimare qualsiasi algoritmo. Quindi la mia domanda è: cosa significa esattamente questo e puoi darmi un riferimento dove questo è dimostrato?

28 references rnn

3

Quali sono i vantaggi di impilare più LSTM?

Quali sono i vantaggi, perché si dovrebbero usare più LSTM, accatastati uno accanto all'altro, in una rete profonda? Sto usando un LSTM per rappresentare una sequenza di input come un singolo input. Quindi una volta che ho quella singola rappresentazione, perché dovrei passarla di nuovo? Lo sto chiedendo perché l'ho …

25 classification neural-networks deep-learning lstm rnn

1

Quali sono esattamente i meccanismi di attenzione?

Negli ultimi anni sono stati utilizzati meccanismi di attenzione in vari articoli di Deep Learning. Ilya Sutskever, responsabile della ricerca presso Open AI, li ha entusiasti con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello alla Purdue University ha affermato che le RNN e le LSTM dovrebbero essere abbandonate a favore di reti neurali …

23 time-series deep-learning lstm rnn attention

3

La perdita di allenamento aumenta con il tempo [duplicato]

Questa domanda ha già risposte qui : In che modo la modifica della funzione di costo può essere positiva? (1 risposta) Cosa devo fare quando la mia rete neurale non impara? (5 risposte) Chiuso il mese scorso . Sto addestrando un modello (rete neurale ricorrente) per classificare 4 tipi di …

21 machine-learning neural-networks loss-functions rnn training-error

4

Differenza tra feedback RNN e LSTM / GRU

Sto cercando di comprendere diverse architetture di reti neurali ricorrenti (RNN) da applicare ai dati delle serie temporali e mi sto confondendo un po 'con i diversi nomi che vengono frequentemente utilizzati nella descrizione di RNN. La struttura della memoria a breve termine (LSTM) e della Gated Recurrent Unit (GRU) …

20 neural-networks lstm rnn

3

Perché i pesi delle reti RNN / LSTM sono condivisi nel tempo?

Di recente mi sono interessato agli LSTM e sono stato sorpreso di apprendere che i pesi sono condivisi nel tempo. So che se condividi i pesi nel tempo, le sequenze temporali di input possono avere una lunghezza variabile. Con i pesi condivisi hai molti meno parametri da allenare. Secondo la …

20 machine-learning lstm rnn

2

Come si possono utilizzare le reti neurali ricorrenti per la classificazione delle sequenze?

RNN può essere utilizzato per la previsione o il mapping da sequenza a sequenza. Ma come si può usare RNN per la classificazione? Voglio dire, diamo un'intera sequenza un'etichetta.

19 machine-learning neural-networks rnn

3

Differenza tra campioni, fasi temporali e caratteristiche nella rete neurale

Sto esaminando il seguente blog sulla rete neurale LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ L'autore rimodella il vettore di input X come [campioni, intervalli di tempo, funzionalità] per diverse configurazioni di LSTM. L'autore scrive In effetti, le sequenze di lettere sono fasi temporali di una funzione anziché una fase temporale di funzioni separate. Abbiamo …

17 neural-networks lstm rnn tensorflow tensor

1

Che cos'è la classificazione temporale dei connessionisti (CTC)?

Sto cercando di realizzare un progetto di riconoscimento ottico dei caratteri (OCR). Dopo aver fatto qualche ricerca mi sono imbattuto in un'architettura che sembra interessante: CNN + RNN + CTC. Ho familiarità con le reti neurali contorte (CNN) e le reti neurali ricorrenti (RNN), ma cos'è la classificazione temporale dei …

15 machine-learning deep-learning conv-neural-network rnn

1

RNN: quando applicare BPTT e / o aggiornare i pesi?

Sto cercando di capire l'applicazione ad alto livello di RNN per l'etichettatura in sequenza tramite (tra gli altri) il documento di Graves del 2005 sulla classificazione dei fonemi. Riassumendo il problema: disponiamo di un ampio set di formazione costituito da file audio (di input) di singole frasi e orari di …

15 lstm rnn

3

Perché indietro propagarsi nel tempo in un RNN?

In una rete neurale ricorrente, di solito si inoltra la propagazione attraverso diversi passaggi temporali, "si srotolano" la rete e quindi si propagano indietro attraverso la sequenza di input. Perché non dovresti semplicemente aggiornare i pesi dopo ogni singolo passaggio della sequenza? (l'equivalente dell'uso di una lunghezza di troncamento di …

14 time-series neural-networks backpropagation rnn

2

Perché anche gli RNN con unità LSTM possono soffrire di "gradienti esplosivi"?

Ho una conoscenza di base di come funzionano gli RNN (e, in particolare, con le unità LSTM). Ho un'idea pittorica dell'architettura di un'unità LSTM, ovvero una cella e alcune porte, che regolano il flusso di valori. Tuttavia, a quanto pare, non ho compreso appieno come LSTM risolva il problema dei …

13 neural-networks lstm rnn backpropagation

3

Modello nascosto di Markov vs rete neurale ricorrente

Quali problemi di input sequenziali sono più adatti per ciascuno? La dimensionalità dell'input determina quale è una corrispondenza migliore? I problemi che richiedono "memoria più lunga" sono più adatti per un LNN RST, mentre i problemi con i modelli di input ciclici (borsa, condizioni meteorologiche) sono più facilmente risolti da …

13 time-series neural-networks hidden-markov-model rnn

Domande taggate «rnn»