Numero ottimale di strati in una rete neurale?

Come decidere il numero ottimale di layer da creare durante l'implementazione di una rete neurale (Feedforward, back propagation o RNN)?

neural-networks hidden-layers

— v01d
fonte

Esiste una tecnica chiamata Pruningnelle reti neurali, che viene utilizzata proprio per questo stesso scopo.

La potatura viene eseguita sul numero di livelli nascosti. Il processo è molto simile al processo di potatura degli alberi decisionali. Il processo di potatura viene eseguito come segue:

Addestra una grande rete densamente connessa con un algoritmo di addestramento standard
Esaminare la rete addestrata per valutare l'importanza relativa dei pesi
Rimuovi i pesi meno importanti
riqualificare la rete potata
Ripetere i passaggi da 2 a 4 fino al completamento

Tuttavia, ci sono diversi metodi ottimizzati per la potatura delle reti neurali, ed è anche un'area di ricerca molto attiva .

— Dawny33
fonte

Un approccio simmetrico è la "ricerca della griglia" comune applicata all'architettura di rete. Inizia in piccolo (così velocemente) e prova automaticamente architetture più grandi. Tutto questo è solo forza bruta, però ...

— Eric Platon

@EricPlaton +1 per la ricerca della griglia. Molto utile in alghe ML ipertuning. Ma non è molto intensivo dal punto di vista computazionale?

— Dawny33,

Sì, è costoso. Tuttavia, quando possiamo iniziare in piccolo, le prime fasi possono andare piuttosto veloci e dare un'idea migliore su cosa puntare.

— Eric Platon,

@EricPlaton "Grid Search" meriterebbe una risposta separata per se stessa :)

— Dawny33

Ci ho pensato, ma poi ci sarebbero state due risposte alternative e forse "ugualmente corrette" ... Ho pensato che il meglio per il lettore fosse compilare la risposta come una.

— Eric Platon,

Puoi dare un'occhiata all'ottimizzazione dell'iperparametro bayesiano come metodo generale per ottimizzare la perdita (o qualsiasi altra cosa) in funzione degli iperparametri. Ma nota che in generale più profonda è la tua rete, meglio è, quindi ottimizzare le perdite in funzione del numero di strati non è una cosa molto divertente da fare.

La ricerca della griglia e un po 'di buon senso (come appreso vedendo molti esempi) dovrebbero essere la soluzione migliore.

— KC Sayz 'KC Sayz'
fonte