Sfumature per skipgram word2vec

Sto attraversando i problemi dei problemi di assegnazione scritta del corso di apprendimento profondo della PNL di Stanford http://cs224d.stanford.edu/assignment1/assignment1_soln

Sto cercando di capire la risposta per 3a dove stanno cercando la derivata del vettore per la parola centrale.

Supponiamo che ti venga dato un vettore di parola previsto corrispondente alla parola centrale c per lo skipgram e che la previsione della parola venga effettuata con la funzione softmax presente nei modelli word2vec.$v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

Dove w indica la w-esima parola e (w = 1,..., W) sono i vettori di parole "output" per tutte le parole del vocabolario. Supponiamo che il costo dell'entropia incrociata sia applicato a questa previsione e la parola o sia la parola attesa.$u_w$

Dove è la matrice di tutti i vettori di output e fa in modo che sia il vettore di colonna della previsione di softmax delle parole e y sia l'etichetta one-hot che è anche un vettore di colonna.$U = [u_1,u_2, · · · ,u_W ]$$\hat{y}$

Dove cross entropy è$CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

Quindi la risposta per il gradiente per il vettore centrale è$\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

Qualcuno potrebbe mostrarmi i passaggi per arrivare a questo? Ho usato questa domanda come riferimento Derivata della perdita di entropia incrociata in word2vec, ma in particolare desidero conoscere larappresentazione.$U^T(\hat{y} − y).$

Innanzitutto, esponiamo ciò che abbiamo e le nostre ipotesi sulle forme di diversi vettori. Permettere,

1. $|W|$essere il numero di parole nel vocabolario
2. $y$ e sono vettori di colonna di formax 1$\hat{y}$$|W|$
3. $u_i$ e sono i vettori di colonna della forma X 1 ( = dimensione degli incastri)$v_j$$D$$D$
4. $y$ è il vettore della colonna con codifica a caldo di formax 1$|W|$
5. $\hat{y}$ è il vettore della colonna di previsione softmax di formax 1$|W|$
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. Perdita di entropia incrociata:$J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$ è una matrice composta da vettori di colonna .$u_k$

Ora possiamo scrivere Semplificando, Ora sappiamo che una codifica a caldo, quindi tutti i suoi elementi sono zero eccetto quello nell'indice . Ciò significa che c'è un solo termine diverso da zero nella somma sopra corrispondente a e tutti gli altri termini nella somma sono zeri. Quindi il costo può anche essere scritto come: Nota: sopra è 1.

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y$$k^{th}$$y_k$ $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y_k$

Soluzione per : $\frac{\partial J}{\partial v_c}$

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

Che può essere riorganizzato come: Usando la definizione (6), possiamo riscrivere l'equazione sopra come:

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

Ora vediamo come questo può essere scritto nella notazione Matrix. Nota che:

1. $u_k$ può essere scritto come moltiplicazione di matrici:$U.y$
2. E è una trasformazione lineare dei vettori in ridimensionata rispettivamente da . Questo di nuovo può essere scritto come$\sum_{w=1}^W (\hat{y}_w u_w)$$u_w$$U$$\hat{y}_w$$U.\hat{y}$

Quindi l'intera cosa può essere sinteticamente scritta come:

$$U[\hat{y} -y]$$

Infine, nota che abbiamo assunto che sia un vettore di colonna. Se avessimo iniziato con i vettori di riga, avremmo ottenuto , come quello che stavi cercando.$u_i$$U^T[\hat{y} -y]$