Come utilizzare l'arresto anticipato correttamente per allenare una rete neurale profonda?

Ho un modello di rete neurale profondo e ho bisogno di addestrarlo sul mio set di dati che comprende circa 100.000 esempi, i miei dati di validazione contengono circa 1000 esempi. Poiché ci vuole tempo per addestrare ogni esempio (circa 0,5 secondi per ogni esempio) e per evitare un eccesso di adattamento, vorrei applicare l'arresto anticipato per evitare calcoli non necessari. Ma non sono sicuro di come addestrare correttamente la mia rete neurale con l'arresto anticipato, molte cose che non capisco proprio ora:

• Quale sarebbe una buona frequenza di validazione? Devo controllare il mio modello sui dati di validazione alla fine di ogni epoca? (La mia dimensione del lotto è 1)

• È il caso che le prime epoche potrebbero produrre risultati peggiori prima che inizi a convergere in un valore migliore? In tal caso, dovremmo addestrare la nostra rete per diverse epoche prima di verificare l'arresto anticipato?

• Come gestire il caso in cui la perdita di convalida potrebbe andare su e giù? In tal caso, l'arresto anticipato potrebbe impedire al mio modello di apprendere ulteriormente, giusto?

Grazie in anticipo.

Quale sarebbe una buona frequenza di validazione? Devo controllare il mio modello sui dati di validazione alla fine di ogni epoca? (La mia dimensione del lotto è 1)

Non esiste una regola d'oro, calcolare l'errore di validazione dopo ogni epoca è abbastanza comune. Poiché il tuo set di validazione è molto più piccolo del tuo set di allenamento, non rallenterà molto l'allenamento.

È il caso che le prime epoche potrebbero produrre risultati peggiori prima che inizi a convergere in un valore migliore?

sì

In tal caso, dovremmo addestrare la nostra rete per diverse epoche prima di verificare l'arresto anticipato?

Potresti, ma il problema è quante epoche dovresti saltare. Quindi, in pratica, la maggior parte delle persone non salta alcuna epoca.

Come gestire il caso in cui la perdita di convalida potrebbe andare su e giù? In tal caso, l'arresto anticipato potrebbe impedire al mio modello di apprendere ulteriormente, giusto?

Le persone in genere definiscono una pazienza, vale a dire il numero di epoche da attendere prima dell'arresto anticipato se non si registrano progressi nel set di convalida. La pazienza è spesso impostata tra 10 e 100 (10 o 20 è più comune), ma dipende davvero dal set di dati e dalla rete.

Esempio con pazienza = 10:

Di recente mi sono imbattuto in un documento intitolato "Early Stopping - ma quando?" di Lutz Prechelt che ha molti grandi esempi di come usare la fermata anticipata con spiegazioni chiare su ciò che ciascuno fa e le formule per loro.

Spero che dare un'occhiata a ciò possa aiutare.

Per aggiungere ad altre risposte eccellenti, puoi anche - non fermarti. Io di solito:

• correre NN per molto più tempo che avrei pensato fosse sensato,
• salvare il modello pesi ogni N epoche e
• quando vedo che la perdita di allenamento si è stabilizzata, scelgo solo il modello con la perdita di validazione più bassa.

Naturalmente questo ha senso solo quando non paghi al minuto (o il costo è abbastanza piccolo) e quando puoi interrompere l'allenamento manualmente. Il lato positivo è che è molto più facile determinare il minimo errore di validazione a posteriori.