Buon tutorial per le macchine Boltzmann limitate (RBM)

10

Sto studiando la Restricted Boltzmann Machine (RBM) e sto riscontrando dei problemi nella comprensione dei calcoli della probabilità di log rispetto ai parametri dell'RBM. Sebbene siano stati pubblicati molti articoli di ricerca sull'RBM, non vi sono passaggi dettagliati dei derivati. Dopo aver cercato online sono stato in grado di trovarli in questo documento:

Fischer, A., & Igel, C. (2012). Un'introduzione alle macchine Boltzmann limitate. In L. Alvarez et al. (Ed.): CIARP, LNCS 7441, pagg. 14–36, Springer-Verlag: Berlino-Heidelberg. ( pdf )

Tuttavia, i dettagli di questo documento sono troppo avanzati per me. Qualcuno può indirizzarmi verso un buon tutorial / set di appunti di lezione su RBM?

Modifica: @ David, la sezione confusa è mostrata di seguito (equazione 29 a pagina 26):

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— Upul
fonte

Puoi essere più specifico su quali passaggi ti confondono?

— David J. Harris,

1

una buona lettura è il capitolo 5 dell'apprendimento delle architetture profonde per l'IA ( iro.umontreal.ca/~bengioy/papers/ftml_book.pdf )

— dksahuji

@dksahuji grazie per INFO, anche il prof: Bengio sta scrivendo un DL e la bozza iniziale è disponibile su iro.umontreal.ca/~bengioy/dlbook

— Upul,

Questo tutorial ha spiegazioni sulla matematica di RBM ( A Tutorial on Restricted Boltzmann Machines ).

— Jiang Xiang,

7

So che è un po 'tardi, ma forse aiuta. Per ottenere il primo termine dell'equazione, sono necessari questi passaggi: Abbiamo assunto che l'indipendenza condizionale tra il esistono unità nascoste, date le unità visibili. Quindi possiamo fattorizzare la distribuzione di probabilità congiunta condizionale per gli stati nascosti.

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ L'ultimo termine è uguale a , poiché stiamo sommando tutti gli stati. Quindi ciò che rimane è il primo termine. Poiché prende solo gli stati e finiamo con:

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— peschn
fonte

7

C'è un tutorial decente di RBM sul sito di deeplearning .
Questo post sul blog ( Introduzione alle macchine Boltzmann limitate ) è scritto in un linguaggio più semplice e spiega molto bene le basi di RBMS:
Inoltre, forse il miglior riferimento è il corso Neural Networks di Geoff Hinton su Coursea:

Non sono sicuro di poter accedere alla classe e ai video dopo la fine della lezione.

— sjm.majewski
fonte

2

Ci sono ancora persone che si iscrivono alla classe Coursera e pubblicano messaggi nel forum. Puoi ancora vedere tutte le lezioni e accedere a tutti i quiz e compiti di programmazione (tra i quiz). Queste informazioni saranno probabilmente disponibili fino a quando il corso non verrà offerto nuovamente. Consiglio di iscriverti al corso solo per visualizzare o scaricare il materiale.

— Douglas Zare,

1

La casella arancione sinistra fornisce il valore atteso del gradiente di energia su tutte le configurazioni nascoste dato che un certo vettore visibile è bloccato sulle unità visibili (l'aspettativa sui dati poiché utilizza un campione dal set di allenamento). Il termine stesso è il prodotto di (1) la probabilità di vedere una particolare unità nascosta i su dato che un certo vettore v è bloccato sulle unità visibili e (2) lo stato di una particolare unità visibile j.

La scatola arancione destra è la stessa cosa di quella sinistra, tranne per il fatto che stai facendo ciò che è nella scatola arancione sinistra per ogni possibile configurazione visibile anziché solo quella che è bloccata sulle unità visibili (l'aspettativa sul modello poiché nulla è bloccato sulle unità visibili).

— Avalon
fonte

1

Il capitolo 5 del corso sull'apprendimento automatico ( video ) di Hugo Larochelle è la migliore introduzione che ho trovato finora.

Il derivato della funzione di perdita non è derivato da queste lezioni, ma non è difficile farlo (posso pubblicare una scansione dei miei calcoli se necessario, ma non è poi così difficile). Sto ancora cercando un buon libro di testo su questo argomento, ma principalmente ci sono solo articoli. C'è una buona panoramica degli articoli nel capitolo 20 del Deep Learning Book di Bengio .

— jakab922
fonte