comprensione della normalizzazione in lotti

Nel documento Normalizzazione in lotti: accelerare la formazione in rete profonda tramite la riduzione dello spostamento della covariata interna ( qui ) Prima di spiegare il processo di normalizzazione in lotti, il documento cerca di spiegare i problemi correlati (non ottengo quale sia esattamente il problema affrontato qui) .

estratto dalla sezione 2, paragrafo 2:

Potremmo prendere in considerazione attivazioni sbiancanti in ogni fase dell'allenamento o ad un certo intervallo, modificando direttamente la rete o modificando i parametri dell'algoritmo di ottimizzazione in modo da dipendere dai valori di attivazione della rete (Wiesler et al., 2014; Raiko et al., 2012 ; Povey et al., 2014; Desjardins & Kavukcuoglu). Tuttavia, se queste modifiche sono intervallate dalle fasi di ottimizzazione, la fase di discesa del gradiente potrebbe tentare di aggiornare i parametri in un modo che richieda l'aggiornamento della normalizzazione, il che riduce l'effetto del passaggio di gradiente. Ad esempio, considera un livello con l'input u che aggiunge il pregiudizio appreso$b$e normalizza il risultato sottraendo la media dell'attivazione calcolata sui dati di allenamento: $\hat x= x − E[x]$ dove $x = u + b, X = {x_{1...N}}$ è l'insieme di valori di $x$ sul set di allenamento e $E[x] = \frac 1 N(\sum_{i=1}^nx_i)$ .

Se un gradiente di discesa del gradiente ignora la dipendenza di E [x] su b, aggiornerà , dove . Quindi .$b ← b + ∆b$$∆b ∝ −\partial l/\partial\hat x$

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Pertanto, la combinazione dell'aggiornamento be la successiva modifica della normalizzazione non hanno portato a nessuna modifica dell'output del layer né, di conseguenza, alla perdita. Man mano che l'allenamento continua, b crescerà indefinitamente mentre la perdita rimane fissa. Questo problema può peggiorare se la normalizzazione non solo centra ma scala anche le attivazioni.

ecco la mia comprensione della letteratura:

1. Abbiamo un lotto di dimensioni N (un lotto di formazione)

2. Lascia che ci siano due strati nascosti arbitrari collegati tra loro (L1 e L2) collegati dai parametri e$W$$b$

3. l'uscita che esce da L1 è x1

4. $u = x1W$ (è qui che inizia la letteratura sopra. la dimensione di u è MxN) (M è il numero di unità in L2)

5. $x = u+b$ (dimensione b = dimensione x = dimensione u = MxN)

6. Ora prima di alimentare x in L2 la centriamo sottraendo la media di da ciascuna voce in ( )$x$$x$$\hat x= x − E[x]$

7. Calcoliamo la perdita e retroproponiamo il gradiente e aggiorniamo solo la questo livello per dargli un test di integrità. Nuovo =$b$$b$$b + \Delta b$

8. Lo eseguiamo di nuovo sullo stesso batch con l'aggiornamento$b$

9. ripetere 3 e 4

10. $x_{new} = u+b + \Delta b$ (dimensione b, = dimensione x = dimensione u = MxN)$\Delta b$

11. Ora prima di alimentare x in L2 la centriamo sottraendo la media di da ciascuna voce in ( ). che è lo stesso di quello che è stato calcolato prima dell'aggiornamento b e quindi dell'aggiornamento b ha avuto effetto sull'allenamento$x$$x$$\hat x = x + \Delta b − E[x + \Delta b] = x - E[x]$

La mia domanda è con questa parte dell'estratto:

"Se un gradiente di discesa del gradiente ignora la dipendenza di E [x] da b, aggiornerà , dove . Quindi "$b ← b + ∆b$$∆b ∝ −\partial l/\partial\hat x$

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Perché è

" " dipendente da ciò che viene prima? Qual è il punto di quel bit? Si noti inoltre l'uso della parola "Then" (reso grassetto) che implica che l'affermazione trae necessariamente la causalità da ciò che viene prima

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Supponiamo che tu stia cercando di ridurre al minimo la seguente perdita per una determinata attività, doveè la distanza eucliciana e l'output previsto è per semplicità. I gradienti possono quindi essere calcolati come segue:

$$\ell(y, \hat{y}) = \frac{1}{2}\| y - \hat{y}\|^2,$$ $\| \cdot\|$$\hat{y} =\hat{x}$

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial b}, \hspace{20pt} \Delta \omega = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial \omega}$$

Now, the gradient of $\hat{x}$ with respect to the bias $b$ is

$$\frac{\partial\hat{x}}{\partial b} = \frac{\partial}{\partial b}(x-E[x]) = \frac{\partial}{\partial b}\left((u+b)-E[(u+b)]\right) = 1 - \frac{\partial}{\partial b}E[(u+b)]$$

Ignorando il fatto $E(x)$ dipende da $b$ rende il gradiente sopra uguale a 1 e quindi continua ad aggiornare il bias come segue:

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[x] = 1 -0 = 1$$ e poi

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (1), \hspace{20pt} b \leftarrow b + \Delta b$$

Altrimenti, se si desidera considerare questa dipendenza, il gradiente diventa 0 e quindi nessun aggiornamento come segue:

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[u+b] = 1 - \left(\frac{\partial}{\partial b}E[u]+\frac{\partial}{\partial b}E[b]\right) = 1 - (0+1) = 0$$ e poi $$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (0), \hspace{20pt} b \leftarrow b + 0$$

In entrambi i casi, indipendentemente dall'aggiornamento del bias, la funzione di perdita rimarrà fissa,

$$u+(b+\Delta b)−E[u+(b+∆b)]=u+b−E[u+b],$$

tuttavia, nel primo caso, il pregiudizio crescerà indefinitamente.