Statistiche e Big Data adam

6

Ottimizzatore Adam con decadimento esponenziale

Nella maggior parte del codice Tensorflow ho visto Adam Optimizer utilizzato con un tasso di apprendimento costante di 1e-4(cioè 0,0001). Il codice di solito ha il seguente aspetto: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

Come funziona il metodo Adamo di discesa gradiente stocastica?

Ho familiarità con gli algoritmi di base per la discesa del gradiente per l'addestramento delle reti neurali. Ho letto l'articolo che propone Adam: ADAM: UN METODO PER L'OTTIMIZZAZIONE STOCASTICA . Anche se ho sicuramente avuto alcune intuizioni (almeno), il documento sembra essere di livello troppo alto per me nel complesso. …

45 neural-networks optimization gradient-descent adam

3

Qual è la ragione per cui Adam Optimizer è considerato robusto per il valore dei suoi iper parametri?

Stavo leggendo dell'ottimizzatore Adam per Deep Learning e mi sono imbattuto nella frase seguente nel nuovo libro Deep Learning di Bengio, Goodfellow e Courville: Adam è generalmente considerato abbastanza robusto per la scelta dei parametri iper, sebbene il tasso di apprendimento a volte debba essere modificato rispetto al valore predefinito …

24 neural-networks deep-learning optimization hyperparameter adam

2

Spiegazione dei picchi nella perdita di allenamento rispetto alle iterazioni con Adam Optimizer

Sto addestrando una rete neurale usando i) SGD e ii) Adam Optimizer. Quando utilizzo SGD normale, ottengo una perdita di allenamento regolare rispetto alla curva di iterazione come mostrato di seguito (quella rossa). Tuttavia, quando ho usato Adam Optimizer, la curva di perdita dell'allenamento presenta alcuni picchi. Qual è la …

16 neural-networks deep-learning adam

1

Perché è importante includere un termine di correzione della distorsione per l'ottimizzatore Adam per Deep Learning?

Stavo leggendo dell'ottimizzatore Adam per Deep Learning e mi sono imbattuto nella frase seguente nel nuovo libro Deep Learning di Begnio, Goodfellow e Courtville: Adam include correzioni di bias alle stime sia dei momenti del primo ordine (il termine momentum) sia dei momenti (non centrati) del secondo ordine per tenere …

15 machine-learning neural-networks optimization conv-neural-network adam

1

RMSProp e Adam vs SGD

Sto eseguendo esperimenti sul set di validazione EMNIST usando le reti con RMSProp, Adam e SGD. Sto ottenendo una precisione dell'87% con SGD (tasso di apprendimento di 0,1) e dropout (0.1 drop prob) e regolarizzazione L2 (penalità 1e-05). Quando collaudo la stessa configurazione esatta con RMSProp e Adam, nonché il …

12 machine-learning optimization sgd adam

Domande taggate «adam»