Statistiche e Big Data batch-normalization

2

Come e perché la normalizzazione batch utilizza le medie mobili per tenere traccia dell'accuratezza del modello mentre si allena?

Stavo leggendo il documento di normalizzazione in lotti (BN) (1) e non capivo la necessità di utilizzare le medie mobili per tenere traccia dell'accuratezza del modello e anche se ho accettato che era la cosa giusta da fare, non capisco cosa stanno facendo esattamente. Per quanto ne so (che ho …

21 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

1

Perché la norma batch ha scala e spostamento apprendibili?

Per quanto ho capito, la norma batch normalizza tutte le funzionalità di input in un layer in una distribuzione normale di unità, . La media e la varianza sono stimate misurando i loro valori per il mini-batch corrente.N( μ = 0 , σ= 1 )N(μ=0,σ=1)\mathcal{N}(\mu=0,\sigma=1)μ , σ2μ,σ2\mu, \sigma^2 Dopo la …

13 batch-normalization

1

Forma matrice di backpropagation con normalizzazione batch

La normalizzazione in lotti è stata accreditata con sostanziali miglioramenti delle prestazioni nelle reti neurali profonde. Un sacco di materiale su Internet mostra come implementarlo su una base di attivazione per attivazione. Ho già implementato il backprop usando l'algebra della matrice e dato che sto lavorando in linguaggi di alto …

12 machine-learning neural-networks deep-learning backpropagation batch-normalization

Domande taggate «batch-normalization»