Sto iniziando con il deep learning e ho una domanda la cui risposta non riuscivo a trovare, forse non ho cercato correttamente. Ho visto questa risposta , ma non è ancora chiaro quale sia la perdita di perdita di peso e come sia correlata alla funzione di perdita.
Risposte:
Il decadimento del peso specifica la regolarizzazione nella rete neurale.
Durante l'allenamento, viene aggiunto un termine di regolarizzazione alla perdita della rete per calcolare il gradiente di backpropagation. Il weight decayvalore determina quanto sarà dominante questo termine di regolarizzazione nel calcolo del gradiente.
Come regola generale, più esempi di allenamento hai, più debole dovrebbe essere questo termine. Più parametri hai, più alto dovrebbe essere questo termine.
Quindi, la perdita di peso è un termine di regolarizzazione che penalizza i pesi elevati. Quando il coefficiente di decadimento del peso è grande, anche la penalità per i pesi grandi è grande, quando è piccolo i pesi possono crescere liberamente.
Quindi, ora se torni a leggere la risposta che hai collegato alla tua domanda, ora avrebbe perfettamente senso.