Perché i ricercatori delle reti neurali si preoccupano delle epoche?

Un'epoca nella discesa del gradiente stocastico è definita come un singolo passaggio attraverso i dati. Per ogni minibatch SGD, vengono estratti campioni, il gradiente calcolato e i parametri aggiornati. Nell'impostazione dell'epoca, i campioni vengono disegnati senza sostituzione.$k$

Ma questo sembra inutile. Perché non disegnare ogni minibatch SGD mentre disegna casualmente dall'intero set di dati ad ogni iterazione? Su un gran numero di epoche, le piccole deviazioni di cui si vedono i campioni più o meno spesso sembrano non essere importanti.$k$

Oltre alla risposta di Franck sugli aspetti pratici, e la risposta di David sull'esame di piccoli sottogruppi - entrambi i quali sono punti importanti - ci sono in effetti alcuni motivi teorici per preferire il campionamento senza sostituzione. Il motivo è forse legato al punto di David (che è essenzialmente il problema del collezionista di coupon ).

Nel 2009, Léon Bottou ha confrontato le prestazioni di convergenza su un particolare problema di classificazione del testo ( ).$n = 781,265$

Bottou (2009). Convergenza curiosamente veloce di alcuni algoritmi di discesa con gradiente stocastico . Atti del simposio sull'apprendimento e la scienza dei dati. ( pdf dell'autore )

Ha addestrato una macchina vettoriale di supporto tramite SGD con tre approcci:

• Casuale : disegna campioni casuali dall'insieme completo di dati ad ogni iterazione.
• Ciclo : mescola il set di dati prima di iniziare il processo di apprendimento, quindi passaci sopra in sequenza, in modo che in ogni epoca vedi gli esempi nello stesso ordine.
• Casuale : rimescola il set di dati prima di ogni epoca, in modo che ogni epoca vada in un ordine diverso.

C θ t$\mathbb E[ C(\theta_t) - \min_\theta C(\theta) ]$$C$$\theta_t$$t$

• Per Casuale, la convergenza era approssimativamente dell'ordine di (come previsto dalla teoria esistente a quel punto).$t^{-1}$
• Il ciclo ha ottenuto la convergenza nell'ordine di (con ma variabile a seconda della permutazione, ad esempio per la sua Figura 1). α > 1 α ≈ $t^{-\alpha}$$\alpha > 1$$\alpha \approx 1.8$
• Shuffle è stato più caotico, ma la linea più adatta ha dato , molto più veloce di Casuale.$t^{-2}$

Questa è la sua Figura 1 che illustra che:

Ciò è stato successivamente teoricamente confermato dal documento:

Gürbüzbalaban, Ozdaglar e Parrilo (2015). Perché il rimpasto casuale batte la discesa gradiente stocastica . arXiv: 1510.08560 . ( video del discorso invitato al NIPS 2015 )

La loro prova si applica solo al caso in cui la funzione di perdita è fortemente convessa, cioè non alle reti neurali. È ragionevole aspettarsi, tuttavia, che ragionamenti simili potrebbero applicarsi al caso della rete neurale (che è molto più difficile da analizzare).

È davvero inutile dal punto di vista delle prestazioni con un ampio set di allenamento, ma usare le epoche può essere conveniente, ad esempio:

• fornisce una metrica piuttosto buona: "la rete neurale è stata addestrata per 10 epoche" è un'affermazione più chiara di "la rete neurale è stata addestrata per 18942 iterazioni" o "la rete neurale è stata addestrata su 303072 campioni".
• ci sono abbastanza cose casuali che accadono durante la fase di allenamento: inizializzazione casuale del peso, mischia in mini lotti, abbandono, ecc.
• è facile da implementare
• evita di chiedersi se il set di allenamento sia abbastanza grande da non avere epoche

[1] fornisce un motivo in più, che non è molto rilevante data la configurazione del computer di oggi:

Come per qualsiasi metodo di discesa gradiente stocastico (incluso il caso mini-batch), è importante per l'efficienza dello stimatore che ogni esempio o minibatch sia campionato approssimativamente in modo indipendente. Poiché l'accesso casuale alla memoria (o peggio ancora al disco) è costoso, una buona approssimazione, chiamata gradiente incrementale (Bertsekas, 2010), consiste nel visitare gli esempi (o mini-batch) in un ordine fisso corrispondente al loro ordine in memoria o disco (ripetendo gli esempi nello stesso ordine in una seconda epoca, se non siamo nel puro caso online in cui ogni esempio viene visitato una sola volta).In questo contesto, è più sicuro se gli esempi oi mini-batch vengono prima messi in un ordine casuale (per assicurarsi che sia così, potrebbe essere utile rimescolare prima gli esempi). È stata osservata una convergenza più rapida se l'ordine in cui i mini-batch vengono visitati viene modificato per ogni epoca, il che può essere ragionevolmente efficace se il set di addestramento si mantiene nella memoria del computer.

[1] Bengio, Yoshua. " Consigli pratici per la formazione graduale di architetture profonde. " Reti neurali: trucchi del mestiere. Springer Berlin Heidelberg, 2012. 437-478.

Non sono affatto d'accordo sul fatto che chiaramente non importerà. Diciamo che ci sono un milione di esempi di formazione e prendiamo dieci milioni di campioni.

In R, possiamo vedere rapidamente come appare la distribuzione

plot(dbinom(0:40, size = 10 * 1E6, prob = 1E-6), type = "h")

Alcuni esempi verranno visitati più di 20 volte, mentre l'1% di essi verrà visitato 3 o meno volte. Se il set di training è stato scelto con cura per rappresentare la distribuzione prevista di esempi in dati reali, ciò potrebbe avere un impatto reale in alcune aree del set di dati, specialmente quando si inizia a suddividere i dati in gruppi più piccoli.

Considera il recente caso in cui un elettore dell'Illinois ha effettivamente sovracampionato di 30 volte e ha drasticamente spostato le stime del modello per il suo gruppo demografico (e, in misura minore, per l'intera popolazione americana). Se accidentalmente sovracampioniamo immagini di "Ruffed Grouse" scattate su sfondi verdi in giorni nuvolosi con una ridotta profondità di campo e sottocampioniamo altri tipi di immagini di grouse, il modello potrebbe associare quelle caratteristiche irrilevanti all'etichetta della categoria. Più modi ci saranno di suddividere i dati, più ci saranno questi sottogruppi e maggiori saranno le opportunità per questo tipo di errore.