Statistiche e Big Data rnn

2

Qual è l'intuizione dietro una rete neurale ricorrente a memoria a breve termine (LSTM)?

L'idea alla base di Recurrent Neural Network (RNN) mi è chiara. Lo capisco nel modo seguente: abbiamo una sequenza di osservazioni ( ) (o, in altre parole, serie temporali multivariate). Ogni singola osservazioneo⃗ 1,o⃗ 2,…,o⃗ no→1,o→2,…,o→n\vec o_1, \vec o_2, \dots, \vec o_no⃗ io→i\vec o_i è un NNN -dimensionale vettore numerico. …

11 time-series neural-networks predictive-models intuition rnn

1

Quale funzione di perdita dovrei usare per segnare un modello seq2seq RNN?

Sto lavorando al documento Cho 2014 che ha introdotto l'architettura encoder-decoder per la modellazione seq2seq. Nel documento, sembrano usare la probabilità dell'input dato input (o è la probabilità di log negativo) come funzione di perdita per un input di lunghezza M e output y di lunghezza N :XXxMMMyyyNNN P( y1, …

10 deep-learning loss-functions rnn

1

RNN con L2 La regolarizzazione interrompe l'apprendimento

Uso RNN bidirezionale per rilevare un evento di evento sbilanciato. La classe positiva è 100 volte meno spesso della classe negativa. Sebbene non sia possibile utilizzare la regolarizzazione, posso ottenere una precisione del 100% sul set di treni e del 30% sul set di convalida. Attivo la regolarizzazione l2 e …

10 neural-networks deep-learning regularization rnn

1

Comprensione della topologia LSTM

Come molti altri, ho trovato le risorse qui e qui per essere immensamente utili per comprendere le cellule LSTM. Sono fiducioso di capire come i valori scorrono e vengono aggiornati e sono abbastanza sicuro di aggiungere anche le "connessioni spioncino" menzionate, ecc. Nel mio esempio, ho ad ogni passo un …

9 machine-learning neural-networks lstm rnn

Domande taggate «rnn»