Domande taggate «batch-normalization»

1
Carta: Qual è la differenza tra la normalizzazione dei livelli, la normalizzazione batch periodica (2016) e la RNN batch normalizzata (2015)?
Quindi, recentemente c'è un documento sulla normalizzazione dei livelli . C'è anche una sua implementazione su Keras. Ma ricordo che ci sono articoli intitolati Recurrent Batch Normalization (Cooijmans, 2016) e Batch Normalized Recurrent Neural Networks (Laurent, 2015). Qual è la differenza tra quei tre? C'è questa sezione di lavoro correlato …
2
La normalizzazione batch ha senso per una funzione di attivazione ReLU?
La normalizzazione in lotti è descritta in questo documento come una normalizzazione dell'input in una funzione di attivazione con variabili di scala e spostamentoγγ\gamma e ββ\beta. Questo documento descrive principalmente l'uso della funzione di attivazione sigmoid, che ha senso. Tuttavia, mi sembra che alimentare un input dalla distribuzione normalizzata prodotta …
1
comprensione della normalizzazione in lotti
Nel documento Normalizzazione in lotti: accelerare la formazione in rete profonda tramite la riduzione dello spostamento della covariata interna ( qui ) Prima di spiegare il processo di normalizzazione in lotti, il documento cerca di spiegare i problemi correlati (non ottengo quale sia esattamente il problema affrontato qui) . estratto …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.