Esiste una regola empirica tra la profondità di una rete neurale e il tasso di apprendimento? Ho notato che più profonda è la rete, più basso deve essere il tasso di apprendimento.
Se è corretto, perché?
Esiste una regola empirica tra la profondità di una rete neurale e il tasso di apprendimento? Ho notato che più profonda è la rete, più basso deve essere il tasso di apprendimento.
Se è corretto, perché?
Risposte:
Questa domanda ha avuto risposta qui:
La risposta breve è sì, c'è una relazione. Tuttavia, la relazione non è così banale, tutto ciò che posso dirti è che ciò che vedi è perché la superficie di ottimizzazione diventa più complessa con l'aumentare del numero di livelli nascosti, quindi i tassi di apprendimento più piccoli sono generalmente migliori. Mentre rimanere bloccati nei minimi locali è una possibilità con un basso tasso di apprendimento, è molto meglio di una superficie complessa e un alto tasso di apprendimento.