Sto eseguendo esperimenti sul set di validazione EMNIST usando le reti con RMSProp, Adam e SGD. Sto ottenendo una precisione dell'87% con SGD (tasso di apprendimento di 0,1) e dropout (0.1 drop prob) e regolarizzazione L2 (penalità 1e-05). Quando collaudo la stessa configurazione esatta con RMSProp e Adam, nonché il tasso di apprendimento iniziale di 0,001, sto ottenendo una precisione dell'85% e una curva di allenamento significativamente meno regolare. Non so come spiegare questo comportamento. Quale può essere la ragione dietro la mancanza di fluidità nella curva di allenamento e la minore precisione e tassi di errore più elevati raggiunti?
Questo dipende dalla rete. Puoi mostrarci i dettagli sulla rete? Puoi fornire anche le curve di apprendimento?
—
Memming il
Questa è una rete con 5 livelli (Dropout, Affine, ELU in ogni strato), configurati come segue: 150 dimensioni nascoste, funzione di attivazione ELU utilizzata, frequenza di apprendimento 0,1 per SGD, velocità di apprendimento 0,001 per RMS e Adam, regolarizzazione L2 con 1e -05 di penalità, dropout con probabilità di esclusione 0.1.
—
Alk,
E quando dici "esattamente la stessa configurazione ... velocità di apprendimento iniziale di 0,001", intendi che hai usato una frequenza di apprendimento diversa o hai fatto due esperimenti: uno con la stessa velocità di apprendimento e uno con una diversa? Può dipendere dall'effettivo software in uso su quali parametri sono impostati su cosa.
—
Wayne,
Quindi ho usato 0.1 per SGD e 0.001 sia per Adam che per RMSProp. Questo perché quando ho eseguito Adam e RMSProp con un tasso di apprendimento di 0,1, entrambi hanno funzionato male con una precisione del 60%. Inoltre, 0,001 è il valore raccomandato nel documento su Adam.
—
Alk,
È necessario pubblicare le curve di apprendimento e se si misura l'errore sui dati di test o di allenamento.
—
Jakub Bartczuk,