Come ottimizzare (in modo sistematico) il tasso di apprendimento con la Discesa del gradiente come ottimizzatore?

Un estraneo al campo ML / DL; ha iniziato il corso Udacity Deep Learning basato su Tensorflow; fare l'incarico 3 problema 4; cercando di ottimizzare la frequenza di apprendimento con la seguente configurazione:

• Dimensione del lotto 128
• Numero di passaggi: sufficiente per riempire 2 epoche
• Dimensioni degli strati nascosti: 1024, 305, 75
• Inizializzazione del peso: troncata normale con std. deviazione di sqrt (2 / n) dove n è la dimensione del livello precedente
• Probabilità di abbandono: 0,75
• Regolarizzazione: non applicata
• Algoritmo del tasso di apprendimento: decadimento esponenziale

giocato con i parametri del tasso di apprendimento; non sembrano avere effetti nella maggior parte dei casi; codice qui ; i risultati:

Accuracy    learning_rate   decay_steps     decay_rate      staircase
93.7        .1              3000            .96             True
94.0        .3              3000            .86             False
94.0        .3              3000            .96             False
94.0        .3              3000            .96             True
94.0        .5              3000            .96             True

• Come devo regolare sistematicamente il tasso di apprendimento?
• In che modo il tasso di apprendimento è correlato al numero di passaggi?

Utilizzare un ottimizzatore di discesa gradiente. Questa è un'ottima panoramica.

Per quanto riguarda il codice, dai un'occhiata a questo tutorial . Questo e questo sono alcuni esempi.

Personalmente, suggerisco di utilizzare ADAM o RMSprop. Ci sono ancora alcuni iperparametri da impostare, ma ce ne sono alcuni "standard" che funzionano il 99% delle volte. Per ADAM puoi guardare il suo documento e per RMSprop in queste diapositive .

MODIFICARE

Ok, usi già un ottimizzatore gradiente. Quindi è possibile eseguire l'ottimizzazione di alcuni iperparametri per selezionare la migliore velocità di apprendimento. Di recente è stato proposto un approccio automatizzato . Inoltre, c'è molto lavoro promettente di Frank Hutter per quanto riguarda la messa a punto automatizzata degli iperparametri.

Più in generale, dai un'occhiata alla sfida AutoML , dove puoi anche trovare il codice sorgente da parte dei team. In questa sfida, l'obiettivo è quello di automatizzare l'apprendimento automatico, inclusa la messa a punto degli iperparametri.

Infine, questo articolo di LeCun e questo tutorial molto recente di DeepMin (controlla il capitolo 8) forniscono alcuni spunti che potrebbero essere utili per la tua domanda.

Ad ogni modo, tieni presente che (soprattutto per problemi facili), è normale che il tasso di apprendimento non influisca molto sull'apprendimento quando si utilizza un ottimizzatore di discesa gradiente. Di solito, questi ottimizzatori sono molto affidabili e funzionano con parametri diversi.

È possibile automatizzare la messa a punto degli iperparametri in molti algoritmi di machine learning stessi o solo gli iperparametri per l'ottimizzatore della discesa del gradiente, ovvero la velocità di apprendimento.

Una libreria che è stata popolare per fare questo è la menta verde.

https://github.com/JasperSnoek/spearmint

Un sintonizzatore automatico della frequenza di apprendimento molto recente viene fornito in Adattamento della velocità di apprendimento online con discesa ipertestuale

Questo metodo è molto semplice da implementare, il risultato principale per SGD è dato come:

$\alpha_{t} = \alpha_{t-1} + \beta \nabla f(\theta_{t-1})^T\nabla f(\theta_{t-2})$

$\beta$$\textit{e.g.}$$\nabla f(\theta_{t-2})$$\alpha$

$\beta$$\alpha_0$

Per ottimizzare gli iperparametri (che si tratti di velocità di apprendimento, percentuale di decadimento, regolarizzazione o altro), è necessario stabilire un set di dati di tenuta; questo set di dati è disgiunto dal set di dati di allenamento. Dopo aver messo a punto diversi modelli con diverse configurazioni (dove una configurazione = una scelta particolare di ciascun iperparametro), si sceglie la configurazione selezionando quella che massimizza l'accuratezza di tenuta.