Differenza tra GradientDescentOptimizer e AdamOptimizer (TensorFlow)?

Ho scritto un semplice MLP in TensorFlow che sta modellando un XOR-Gate .

Quindi per:

input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]]

dovrebbe produrre quanto segue:

output_data = [[0.], [1.], [1.], [0.]]

La rete ha uno strato di input, uno nascosto e uno di output con 2, 5 e 1 neuroni ciascuno.

Attualmente ho la seguente entropia incrociata:

cross_entropy = -(n_output * tf.log(output) + (1 - n_output) * tf.log(1 - output))

Ho anche provato questa alternativa più semplice:

cross_entropy = tf.square(n_output - output)

insieme ad altri tentativi.

Tuttavia, indipendentemente dalla mia configurazione, l'errore con a GradientDescentOptimizerstava diminuendo molto più lentamente di un AdamOptimizer.

In effetti, tf.train.AdamOptimizer(0.01)dopo 400-800 passi di apprendimento (in base alla frequenza di apprendimento, dove 0.01avevano i risultati migliori) sono stati ottenuti risultati davvero buoni, mentre sono tf.train.GradientDescentOptimizersempre stati necessari oltre 2000 passi di apprendimento, indipendentemente dal calcolo dell'entropia o dalla velocità di apprendimento.

Perché è così? Sembra che AdamOptimizersia sempre una scelta migliore ?!

Gli tf.train.AdamOptimizerusi Kingma e di Ba Adam algoritmo per controllare il tasso di apprendimento. Adam offre diversi vantaggi rispetto al semplice tf.train.GradientDescentOptimizer. Il primo è che utilizza le medie mobili dei parametri (quantità di moto); Bengio discute i motivi per cui ciò è vantaggioso nella Sezione 3.1.1 di questo documento . In poche parole, ciò consente ad Adam di utilizzare una dimensione del passo effettiva maggiore e l'algoritmo converge in questa dimensione del passo senza una regolazione fine.

Il principale lato negativo dell'algoritmo è che Adam richiede l'esecuzione di più calcoli per ciascun parametro in ogni fase dell'allenamento (per mantenere le medie mobili e la varianza e calcolare il gradiente in scala); e più stato da conservare per ciascun parametro (triplicando approssimativamente la dimensione del modello per memorizzare la media e la varianza per ciascun parametro). Un semplice tf.train.GradientDescentOptimizerpotrebbe anche essere usato nel tuo MLP, ma richiederebbe una maggiore messa a punto dell'iperparametro prima che converga più rapidamente.