Statistiche e Big Data backpropagation

6

È possibile addestrare una rete neurale senza backpropagation?

Molti libri e tutorial sulla rete neurale impiegano molto tempo nell'algoritmo di backpropagation, che è essenzialmente uno strumento per calcolare il gradiente. Supponiamo che stiamo costruendo un modello con ~ 10K parametri / pesi. È possibile eseguire l'ottimizzazione utilizzando alcuni algoritmi di ottimizzazione senza gradiente? Penso che calcolare il gradiente …

94 machine-learning neural-networks optimization backpropagation

1

Quanto dovrebbe essere grande la dimensione del lotto per la discesa gradiente stocastica?

Comprendo che la discesa gradiente stocastica può essere utilizzata per ottimizzare una rete neurale mediante backpropagation aggiornando ogni iterazione con un diverso campione del set di dati di training. Quanto dovrebbe essere grande la dimensione del lotto?

49 machine-learning neural-networks gradient-descent backpropagation

1

In cosa differisce softmax_cross_entropy_with_logits da softmax_cross_entropy_with_logits_v2?

In particolare, suppongo di chiedermi questa affermazione: Le versioni principali future di TensorFlow consentiranno ai gradienti di fluire nelle etichette immesse sul backprop per impostazione predefinita. Che è mostrato quando uso tf.nn.softmax_cross_entropy_with_logits. Nello stesso messaggio mi spinge a dare un'occhiata tf.nn.softmax_cross_entropy_with_logits_v2. Ho consultato la documentazione ma afferma solo che per …

41 machine-learning supervised-learning tensorflow backpropagation

6

Backpropagation con Softmax / Cross Entropy

Sto cercando di capire come funziona la backpropagation per un livello di output softmax / cross-entropia. La funzione di errore di entropia incrociata è E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j con e come target e output al neurone , rispettivamente. La somma è su ogni neurone nel livello di output. stesso è …

40 backpropagation derivative softmax cross-entropy

5

Backpropagation vs Algoritmo genetico per la formazione della rete neurale

Ho letto alcuni articoli che parlano dei pro e dei contro di ciascun metodo, alcuni sostengono che GA non dia alcun miglioramento nel trovare la soluzione ottimale, mentre altri dimostrano che è più efficace. Sembra che GA sia generalmente preferito in letteratura (anche se la maggior parte delle persone lo …

34 neural-networks genetic-algorithms backpropagation

4

Perché tanh è quasi sempre migliore di sigmoid come funzione di attivazione?

Nel corso Neural Networks e Deep Learning di Andrew Ng su Coursera afferma che usare è quasi sempre preferibile usare .tanhtanhtanhsigmoidsigmoidsigmoid La ragione per cui egli dà è che le uscite utilizzando centro attorno 0 piuttosto che 's 0,5, e questo 'rende l'apprendimento per lo strato successivo un po 'più …

33 machine-learning neural-networks backpropagation sigmoid-curve

7

Pericolo di azzeramento di tutti i pesi iniziali in Backpropagation

Perché è pericoloso inizializzare i pesi con zeri? C'è un semplice esempio che lo dimostra?

30 neural-networks backpropagation

1

Perché le funzioni di attivazione non centrate sullo zero sono un problema nella backpropagation?

Ho letto qui il seguente: Le uscite Sigmoid non sono centrate sullo zero . Ciò è indesiderabile poiché i neuroni nei livelli successivi di elaborazione in una rete neurale (ne parleremo presto) riceveranno dati che non sono centrati sullo zero. Ciò ha implicazioni sulla dinamica durante la discesa del gradiente, …

26 neural-networks deep-learning backpropagation

1

Backpropagation gradiente tramite connessioni salta ResNet

Sono curioso di sapere come i gradienti vengono retro-propagati attraverso una rete neurale usando i moduli ResNet / salta le connessioni. Ho visto un paio di domande su ResNet (ad es. Rete neurale con connessioni skip-layer ) ma questa fa domande specifiche sulla retro-propagazione dei gradienti durante l'allenamento. L'architettura di …

22 machine-learning neural-networks conv-neural-network gradient-descent backpropagation

3

Perché usare la discesa gradiente con le reti neurali?

Durante l'allenamento di una rete neurale mediante l'algoritmo di retro-propagazione, il metodo di discesa del gradiente viene utilizzato per determinare gli aggiornamenti del peso. La mia domanda è: anziché utilizzare il metodo di discesa gradiente per individuare lentamente il punto minimo rispetto a un determinato peso, perché non impostare semplicemente …

22 neural-networks gradient-descent backpropagation

2

Nelle reti neurali, perché usare metodi a gradiente piuttosto che altre metaeuristiche?

Nell'addestramento di reti neurali profonde e superficiali, perché sono comunemente usati i metodi a gradiente (ad es. Discesa a gradiente, Nesterov, Newton-Raphson) rispetto ad altre metaeuristiche? Per metaeuristica intendo metodi come ricottura simulata, ottimizzazione delle colonie di formiche, ecc., Che sono stati sviluppati per evitare di rimanere bloccati in un …

20 neural-networks optimization deep-learning gradient-descent backpropagation

2

Perché la backpropagation non funziona quando si inizializzano i pesi con lo stesso valore?

Perché la backpropagation non funziona quando si inizializza tutto il peso con lo stesso valore (diciamo 0,5), ma funziona bene quando si danno numeri casuali? L'algoritmo non dovrebbe calcolare l'errore e funzionare da lì, nonostante il fatto che inizialmente i pesi siano gli stessi?

20 machine-learning neural-networks backpropagation

2

Algoritmo di backpropagation

Ho avuto una leggera confusione sull'algoritmo di backpropagation utilizzato nel perceptron multistrato (MLP). L'errore viene corretto dalla funzione di costo. In backpropagation, stiamo cercando di regolare il peso degli strati nascosti. L'errore di output che posso capire, vale a dire, e = d - y[senza gli abbonati]. Le domande sono: …

19 machine-learning neural-networks backpropagation

1

Somma o media dei gradienti in (mini) gradiente batch decente?

Quando ho implementato il gradiente mini batch decente, ho appena calcolato la media dei gradienti di tutti gli esempi nel batch di training. Tuttavia, ho notato che ora il tasso di apprendimento ottimale è molto più elevato rispetto al gradiente online decente. La mia intuizione è che ciò è dovuto …

15 neural-networks gradient-descent backpropagation

3

Perché indietro propagarsi nel tempo in un RNN?

In una rete neurale ricorrente, di solito si inoltra la propagazione attraverso diversi passaggi temporali, "si srotolano" la rete e quindi si propagano indietro attraverso la sequenza di input. Perché non dovresti semplicemente aggiornare i pesi dopo ogni singolo passaggio della sequenza? (l'equivalente dell'uso di una lunghezza di troncamento di …

14 time-series neural-networks backpropagation rnn

Domande taggate «backpropagation»