Per quanto ne so, quando adotto la Discendenza gradiente stocastica come algoritmo di apprendimento, qualcuno usa "epoca" per il set di dati completo e "batch" per i dati utilizzati in una singola fase di aggiornamento, mentre un altro usa rispettivamente "batch" e "minibatch" e gli altri usano "epoca" e "minibatch". Questo porta molta confusione durante la discussione.
Quindi qual è il detto corretto? O sono solo dialetti accettabili?
Risposte:
Un'epoca in genere indica che l'algoritmo vede una volta ogni istanza di allenamento. Supponendo ora di avere istanze di allenamento:
Se si esegue l'aggiornamento batch, ogni aggiornamento dei parametri richiede che l'algoritmo visualizzi ciascuna delle istanze di training esattamente una volta, ovvero ogni epoca in cui i parametri vengono aggiornati una volta.
Se si esegue l'aggiornamento mini-batch con dimensione batch = , ogni aggiornamento dei parametri richiede che l'algoritmo veda b di n istanze di training, ovvero ogni epoca in cui i parametri vengono aggiornati circa n / b volte.
"Epoca" di solito significa esporre un algoritmo di apprendimento all'intero insieme di dati di allenamento. Questo non ha sempre senso in quanto a volte generiamo dati.
"Batch" e "Minibatch" possono essere fonte di confusione.
Gli esempi di addestramento a volte devono essere "raggruppati" perché non tutti i dati possono necessariamente essere esposti all'algoritmo in una sola volta (a causa di vincoli di memoria di solito).
Nel contesto di SGD, "Minibatch" significa che il gradiente viene calcolato su tutto il batch prima di aggiornare i pesi. Se non si utilizza un "minibatch", ogni esempio di allenamento in un "batch" aggiorna i parametri dell'algoritmo di apprendimento in modo indipendente.