Derivata della perdita di entropia crociata in word2vec

Sto cercando di superare la prima serie di problemi del materiale del corso di classe Stanford cs224d online e sto riscontrando alcuni problemi con il problema 3A: quando si utilizza il modello skip gram word2vec con la funzione di previsione softmax e la funzione di perdita incrociata dell'entropia, noi desidera calcolare i gradienti rispetto ai vettori di parole previsti. Quindi data la funzione softmax:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

e funzione entropia incrociata:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

dobbiamo calcolare $\frac{\partial{CE}}{\partial{\hat{r}}}$

I miei passi sono i seguenti:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

ora dato $w_k$ è un vettore caldo ed io sono la classe corretta:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

È corretto o potrebbe essere ulteriormente semplificato? Voglio provare ad assicurarmi di essere sulla strada giusta poiché le soluzioni del set di problemi non sono pubblicate online. Inoltre, ottenere correttamente i compiti scritti è importante per poter svolgere correttamente i compiti di programmazione.

$$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$$ può essere riscritto come nota, le somme sono entrambe indicizzate da j ma in realtà dovrebbero essere 2 variabili diverse. Questo sarebbe più appropriato che si traduce in $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$$