Quanti esempi di allenamento sono troppo pochi quando si allena una rete neurale?

Sono un principiante che prova a mettere insieme il mio primo progetto. Avevo in mente un progetto di classificazione delle canzoni, ma dato che avrei etichettato manualmente, ho potuto ragionevolmente mettere insieme circa 1000 canzoni o 60 ore di musica.

Mi classificherei con diverse classi, quindi è possibile che una classe abbia un minimo di 50-100 canzoni nel set di formazione, questo sembra troppo poco! Esiste una regola empirica generale per quanti dati sono necessari per addestrare una rete neurale per provarci a lavorare?

Modifica: stavo pensando di usare un LSTM alla vaniglia. Le funzionalità di input avranno dimensione 39, dimensione output 6, il mio primo tentativo di dimensione layer nascosta sarebbe 100.

neural-networks

— Arrey
fonte

Questo non è realmente responsabile perché non tutte le attività sono facili e diverse architetture di rete e selezioni di iperparametri miglioreranno / danneggeranno diversi modelli in modi diversi.

— Sycorax dice di ripristinare Monica

Come minimo, è necessario specificare la struttura della rete e il numero di collegamenti che saranno disponibili per la formazione.

— gung - Ripristina Monica

Dipende molto dal set di dati e dall'architettura di rete. Una regola empirica che ho letto (2) era di alcune migliaia di campioni per classe affinché la rete neurale potesse iniziare a funzionare molto bene.

In pratica, le persone cercano di vedere. Non è raro trovare studi che mostrano risultati decenti con un set di addestramento inferiore a 1000 campioni.

Un buon modo per valutare approssimativamente in che misura potrebbe essere utile avere più campioni di allenamento è tracciare le prestazioni della rete neurale in base alle dimensioni del set di addestramento, ad esempio da (1):

(1) Dernoncourt, Franck, Ji Young Lee, Ozlem Uzuner e Peter Szolovits. " De-identificazione delle note del paziente con reti neurali ricorrenti " arXiv prestampa arXiv: 1606.03475 (2016).
(2) Cireşan, Dan C., Ueli Meier e Jürgen Schmidhuber. "Trasferisci l'apprendimento per i caratteri latini e cinesi con reti neurali profonde." Nella Conferenza congiunta internazionale 2012 sulle reti neurali (IJCNN), pagg. 1-6. IEEE, 2012. https://scholar.google.com/scholar?cluster=7452424507909578812&hl=it&as_sdt=0,22 ; http://people.idsia.ch/~ciresan/data/ijcnn2012_v9.pdf :

Per le attività di classificazione con alcune migliaia di campioni per classe , non è facile dimostrare il beneficio della pretrattamento (senza supervisione o supervisione).

— Franck Dernoncourt
fonte