Relazione tra tasso di apprendimento e numero di livelli nascosti?

Esiste una regola empirica tra la profondità di una rete neurale e il tasso di apprendimento? Ho notato che più profonda è la rete, più basso deve essere il tasso di apprendimento.

Se è corretto, perché?

Questa domanda ha avuto risposta qui:

Con le reti neurali, il tasso di apprendimento dovrebbe essere in qualche modo proporzionale alle dimensioni degli strati nascosti? Dovrebbero influenzarsi a vicenda?

La risposta breve è sì, c'è una relazione. Tuttavia, la relazione non è così banale, tutto ciò che posso dirti è che ciò che vedi è perché la superficie di ottimizzazione diventa più complessa con l'aumentare del numero di livelli nascosti, quindi i tassi di apprendimento più piccoli sono generalmente migliori. Mentre rimanere bloccati nei minimi locali è una possibilità con un basso tasso di apprendimento, è molto meglio di una superficie complessa e un alto tasso di apprendimento.