Statistiche e Big Data backpropagation

2

Qual è il vantaggio della distribuzione normale troncata nell'inizializzazione dei pesi in una rete neurale?

Quando si inizializzano i pesi di connessione in una rete neurale feedforward, è importante inizializzarli in modo casuale per evitare simmetrie che l'algoritmo di apprendimento non sarebbe in grado di rompere. La raccomandazione che ho visto in vari punti (ad es. Nel tutorial MNIST di TensorFlow ) è di usare …

13 neural-networks backpropagation weights truncated-normal

2

Perché anche gli RNN con unità LSTM possono soffrire di "gradienti esplosivi"?

Ho una conoscenza di base di come funzionano gli RNN (e, in particolare, con le unità LSTM). Ho un'idea pittorica dell'architettura di un'unità LSTM, ovvero una cella e alcune porte, che regolano il flusso di valori. Tuttavia, a quanto pare, non ho compreso appieno come LSTM risolva il problema dei …

13 neural-networks lstm rnn backpropagation

1

Forma matrice di backpropagation con normalizzazione batch

La normalizzazione in lotti è stata accreditata con sostanziali miglioramenti delle prestazioni nelle reti neurali profonde. Un sacco di materiale su Internet mostra come implementarlo su una base di attivazione per attivazione. Ho già implementato il backprop usando l'algebra della matrice e dato che sto lavorando in linguaggi di alto …

12 machine-learning neural-networks deep-learning backpropagation batch-normalization

2

Cattura di schemi iniziali quando si utilizza la backpropagation troncata nel tempo (RNN / LSTM)

Supponiamo che io usi un RNN / LSTM per fare l'analisi del sentiment, che è un approccio molti-a-uno (vedi questo blog ). La rete viene addestrata attraverso una backpropagation troncata nel tempo (BPTT), dove la rete viene srotolata solo per gli ultimi 30 passaggi. Nel mio caso, ciascuna delle mie …

12 neural-networks deep-learning natural-language backpropagation

2

In che modo la discesa del gradiente minibatch aggiorna i pesi per ciascun esempio in un batch?

Se elaboriamo diciamo 10 esempi in un batch, capisco che possiamo sommare la perdita per ogni esempio, ma come funziona la backpropagation per quanto riguarda l'aggiornamento dei pesi per ogni esempio? Per esempio: Esempio 1 -> perdita = 2 Esempio 2 -> perdita = -2 Ciò si traduce in una …

12 neural-networks gradient-descent backpropagation tensorflow

2

Come addestrare un SVM tramite backpropagation?

Mi chiedevo se fosse possibile addestrare un SVM (diciamo uno lineare, per semplificare le cose) usando la backpropagation? Attualmente, sono a un blocco stradale, perché posso solo pensare di scrivere l' output del classificatore come f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) Pertanto, quando proviamo a calcolare il "passaggio …

11 machine-learning neural-networks svm gradient-descent backpropagation

1

Formazione di una rete neurale di convoluzione

Attualmente sto lavorando a un software di riconoscimento facciale che utilizza reti neurali di convoluzione per riconoscere i volti. Sulla base delle mie letture, ho riscontrato che una rete neurale convoluzionale ha condiviso pesi, in modo da risparmiare tempo durante l'allenamento. Ma come si adatta la backpropagation in modo che …

11 machine-learning neural-networks computer-vision backpropagation conv-neural-network

2

Che cos'è il pretrattamento e come si predica una rete neurale?

Comprendo che il pretrattamento viene utilizzato per evitare alcuni dei problemi con la formazione convenzionale. Se uso la backpropagation con, diciamo un codificatore automatico, so che mi imbatterò in problemi di tempo perché la backpropagation è lenta, e anche che posso rimanere bloccato in optima locale e non apprendere alcune …

10 machine-learning neural-networks backpropagation rbm pre-training

1

Sfumature per skipgram word2vec

Sto attraversando i problemi dei problemi di assegnazione scritta del corso di apprendimento profondo della PNL di Stanford http://cs224d.stanford.edu/assignment1/assignment1_soln Sto cercando di capire la risposta per 3a dove stanno cercando la derivata del vettore per la parola centrale. Supponiamo che ti venga dato un vettore di parola previsto corrispondente alla …

9 self-study neural-networks backpropagation word2vec

Domande taggate «backpropagation»