In questo è il codice tutorial dal sito Web di TensorFlow,

1. qualcuno potrebbe aiutare a spiegare cosa global_stepsignifica?

   Ho trovato sul sito web di Tensorflow scritto che viene utilizzato il passo globale conteggio dei passaggi di formazione , ma non ho capito cosa significhi esattamente.

2. Inoltre, cosa significa il numero 0 durante la configurazione global_step?

    def training(loss,learning_rate):
        tf.summary.scalar('loss',loss)
        optimizer = tf.train.GradientDescentOptimizer(learning_rate)
        
        # Why 0 as the first parameter of the global_step tf.Variable?
        global_step = tf.Variable(0, name='global_step',trainable=False)

        train_op = optimizer.minimize(loss, global_step=global_step)
    
        return train_op

Secondo il documento Tensorflow global_step: incrementa di uno dopo che le variabili sono state aggiornate . Significa che dopo che un aggiornamento global_stepdiventa 1?

global_stepsi riferisce al numero di lotti visti dal grafico. Ogni volta che viene fornito un batch, i pesi vengono aggiornati nella direzione che riduce al minimo la perdita. global_steptiene solo traccia del numero di lotti visti finora. Quando viene passato nell'elenco degli minimize()argomenti, la variabile viene aumentata di uno. Dai un'occhiata optimizer.minimize().

Puoi ottenere il global_stepvalore usando tf.train.global_step(). Sono anche utili i metodi di utilità tf.train.get_global_stepo tf.train.get_or_create_global_step.

0 è il valore iniziale del passaggio globale in questo contesto.

mostrarti un vivido esempio di seguito:

codice:

train_op = tf.train.GradientDescentOptimizer(learning_rate=LEARNING_RATE).minimize(loss_tensor,global_step=tf.train.create_global_step())
with tf.Session() as sess:
    ...
    tf.logging.log_every_n(tf.logging.INFO,"np.mean(loss_evl)= %f at step %d",100,np.mean(loss_evl),sess.run(tf.train.get_global_step()))

stampa corrispondente

INFO:tensorflow:np.mean(loss_evl)= 1.396970 at step 1
INFO:tensorflow:np.mean(loss_evl)= 1.221397 at step 101
INFO:tensorflow:np.mean(loss_evl)= 1.061688 at step 201

Il global_step Variablecontiene il numero totale di passaggi durante l'allenamento attraverso le attività (ogni indice di passaggio si verificherà solo su una singola attività).

Una sequenza temporale creata da global_stepci aiuta a capire a che punto siamo nel grande schema, da ciascuna delle attività separatamente. Ad esempio, la perdita e l'accuratezza potrebbero essere tracciate global_stepsu Tensorboard.

Esistono reti, ad esempio GAN, che potrebbero richiedere due (o più) passaggi diversi. L'addestramento di un GAN con la specifica WGAN richiede che i passaggi sul discriminatore (o critico) D siano maggiori di quelli eseguiti sul generatore G. In tal caso, è utile dichiarare variabili global_steps diverse.

Esempio: ( G_losse D_losssono la perdita del generatore e del discriminatore)

G_global_step = tf.Variable(0, name='G_global_step', trainable=False)
D_global_step = tf.Variable(0, name='D_global_step', trainable=False)

minimizer = tf.train.RMSPropOptimizer(learning_rate=0.00005)

G_solver = minimizer.minimize(G_loss, var_list=params, global_step=G_global_step)
D_solver = minimizer.minimize(D_loss, var_list=params, global_step=D_global_step)