Perché la norma batch ha scala e spostamento apprendibili?

Per quanto ho capito, la norma batch normalizza tutte le funzionalità di input in un layer in una distribuzione normale di unità, . La media e la varianza sono stimate misurando i loro valori per il mini-batch corrente.$\mathcal{N}(\mu=0,\sigma=1)$$\mu, \sigma^2$

Dopo la normalizzazione, gli input vengono ridimensionati e spostati in base a valori scalari:

$$\hat{x}_i' = \gamma \hat{x}_i + \beta$$

(Correggimi se sbaglio qui - è qui che inizio a diventare un po 'incerto.)

$\gamma$ e sono valori scalari e ce n'è una coppia per ciascuno strato standardizzato in batch. Vengono appresi insieme ai pesi usando backprop e SGD.$\beta$

La mia domanda è: questi parametri non sono ridondanti perché gli input possono essere ridimensionati e spostati in qualche modo dai pesi nel layer stesso. In altre parole, se

$$y = W \hat{x}' + b$$

e

$$\hat{x}' = \gamma \hat{x} + \beta$$

poi

$$y = W' \hat{x} + b'$$

dove e .$W' = W\gamma$$b'=W\beta + b$

Allora, qual è il punto di aggiungerli alla rete è già in grado di apprendere la scala e il cambiamento? O sto completamente fraintendendo le cose?

C'è una risposta perfetta nel Deep Learning Book, Sezione 8.7.1 :

La normalizzazione della media e della deviazione standard di un'unità può ridurre la potenza espressiva della rete neurale contenente tale unità. Per mantenere la potenza espressiva della rete, è comune sostituire il gruppo di attivazioni di unità nascoste H con γH + β anziché semplicemente H. normalizzato Le variabili γ e β sono parametri appresi che consentono alla nuova variabile di avere qualsiasi mezzo e deviazione standard. A prima vista, questo può sembrare inutile: perché abbiamo impostato la media su 0 e quindi introdotto un parametro che consente di riportarlo a qualsiasi valore arbitrario β?

La risposta è che la nuova parametrizzazione può rappresentare la stessa famiglia di funzioni dell'input della vecchia parametrizzazione, ma la nuova parametrizzazione ha dinamiche di apprendimento diverse. Nella vecchia parametrizzazione, la media di H era determinata da una complessa interazione tra i parametri negli strati inferiori a H. Nella nuova parametrizzazione, la media di γH + β è determinata esclusivamente da β. La nuova parametrizzazione è molto più facile da imparare con la discesa gradiente.