Derivando il gradiente di una rete neurale a singolo strato dai suoi input, qual è l'operatore nella regola della catena?

Il problema è:

Deriva il gradiente rispetto allo strato di input per una singola rete neurale a strato nascosto usando sigmoid per input -> nascosto, softmax per nascosto -> output, con una perdita di entropia incrociata.

Posso superare gran parte della derivazione usando la regola della catena, ma non sono sicuro su come "legarli" insieme.

Definisci alcune notazioni

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , è la funzione sigmoid $\sigma$

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ , è la funzione softmax $S$

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , è un vettore hot-label con etichetta reale $y$

Quindi secondo la regola della catena,

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

I singoli gradienti sono:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

Ora dobbiamo concatenare le definizioni. In una variabile è semplice, moltiplichiamo tutto insieme. Nei vettori, non sono sicuro se usare la moltiplicazione degli elementi o la moltiplicazione della matrice.

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

Dove è la moltiplicazione dei vettori in termini di elementi e è una matrice moltiplicata. Questa combinazione di operazioni è l'unico modo in cui mi sembra di metterli insieme per ottenere un vettore di dimensione , che so che deve essere . $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

La mia domanda è: qual è il modo di principio per me di capire quale operatore utilizzare? Sono specificamente confuso dalla necessità dell'elemento tra e . $W_2^T$ $h$

Grazie!

neural-networks gradient

— amatsukawa
fonte

Mi rendo conto che trovare il gradiente che si presenta agli input non viene fatto spesso. Credo che questo sia un vantaggio nel calcolo delle incorporazioni di parole, in cui hai la possibilità di ottimizzare i vettori di parole "input".

— amatsukawa,

come sei dervie dJ / dTheta

— raaj

Risposte:

Credo che la chiave per rispondere a questa domanda sia quella di sottolineare che la moltiplicazione in termini di elementi è in realtà una scorciatoia e quindi quando derivate le equazioni non la usate mai realmente.

L'operazione effettiva non è una moltiplicazione in termini di elementi ma invece una moltiplicazione di matrice standard di un gradiente con un giacobino , sempre .

Nel caso della non linearità, il giacobino dell'uscita vettoriale della non linearità rispetto all'input vettoriale della non linearità sembra essere una matrice diagonale. È quindi vero che il gradiente moltiplicato per questa matrice equivale al gradiente dell'output della non linearità rispetto all'elemento di perdita saggio moltiplicato per un vettore contenente tutte le derivate parziali della non linearità rispetto all'input della non linearità, ma ciò deriva dal fatto che il giacobino è diagonale. Devi passare attraverso il passo giacobino per arrivare alla moltiplicazione saggia degli elementi, che potrebbe spiegare la tua confusione.

In matematica, abbiamo alcune non linearità , una perdita e un input per la non linearità (questo potrebbe essere qualsiasi tensore). L'output della non linearità ha la stessa dimensione --- come dice @Logan, le funzioni di attivazione sono definite come elementi. $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

Vogliamo

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

Dove è il giacobino di . Espandendo questo Jacobiano, otteniamo $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

Vediamo che è ovunque zero tranne che per la diagonale. Possiamo creare un vettore di tutti i suoi elementi diagonali

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

E quindi utilizzare l'operatore elemento-saggio.

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— user0
fonte

Ogni volta che viene retroproporzionato a una funzione di attivazione, le operazioni diventano elementari. In particolare, usando il tuo esempio, è un derivato di backpropagation e è un derivato di attivazione e i loro prodotti sono elementally product, . Questo perché le funzioni di attivazione sono definite come operazioni basate sull'elemento nella rete neurale. $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

Vedi le diapositive delle lezioni di cs224d a pagina 30, potrebbe anche aiutare.

— Logan
fonte