Domande taggate «batch-normalization»

2
Come e perché la normalizzazione batch utilizza le medie mobili per tenere traccia dell'accuratezza del modello mentre si allena?
Stavo leggendo il documento di normalizzazione in lotti (BN) (1) e non capivo la necessità di utilizzare le medie mobili per tenere traccia dell'accuratezza del modello e anche se ho accettato che era la cosa giusta da fare, non capisco cosa stanno facendo esattamente. Per quanto ne so (che ho …

1
Perché la norma batch ha scala e spostamento apprendibili?
Per quanto ho capito, la norma batch normalizza tutte le funzionalità di input in un layer in una distribuzione normale di unità, . La media e la varianza sono stimate misurando i loro valori per il mini-batch corrente.N( μ = 0 , σ= 1 )N(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ , σ2μ,σ2\mu, \sigma^2 Dopo la …

1
Forma matrice di backpropagation con normalizzazione batch
La normalizzazione in lotti è stata accreditata con sostanziali miglioramenti delle prestazioni nelle reti neurali profonde. Un sacco di materiale su Internet mostra come implementarlo su una base di attivazione per attivazione. Ho già implementato il backprop usando l'algebra della matrice e dato che sto lavorando in linguaggi di alto …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.