Reti di credenze profonde o macchine Deep Boltzmann?

Non ho capito bene. C'è una differenza tra le reti di credenze profonde e le macchine Deep Boltzmann? In tal caso, qual è la differenza?

— Jack Twain
fonte

l'articolo di Wikipedia sulle reti di credenze profonde è abbastanza chiaro anche se sarebbe utile / approfondito avere un quadro più ampio dell'etimologia / storia dei termini. fondamentalmente una rete di credenze profonde è abbastanza analoga a una rete neurale profonda dal punto di vista probabilistico e le macchine boltzmann profonde sono un algoritmo utilizzato per implementare una rete di credenze profonde. apparentemente tutte le ANN hanno interpretazioni / modelli probabilistici ma non sono ottenibili così facilmente / direttamente come alcuni modelli di "credenza" orientati alla bayesiana / probabilistica.

— vzn

Risposte:

Sebbene le reti Deep Belief Networks (DBN) e Deep Boltzmann Machines (DBM) abbiano un aspetto schematico molto simile, in realtà sono qualitativamente molto diverse. Questo perché i DBN sono diretti e i DBM non sono indirizzati. Se volessimo inserirli nell'immagine ML più ampia, potremmo dire che i DBN sono reti di credenze sigmoidali con molti strati densamente connessi di variabili latenti e i DBM sono campi casuali markov con molti strati densamente connessi di variabili latenti.

$P(v|h)$ $v$ $h$ $P$

Detto questo, ci sono somiglianze. Per esempio:

I DBN e il DBM originale funzionano entrambi utilizzando schemi di inizializzazione basati su un avido addestramento a strati delle macchine Bolzmann (RBM) limitate,
Sono entrambi "profondi".
Entrambi presentano livelli di variabili latenti che sono densamente collegati ai livelli sopra e sotto, ma non hanno connessioni intralayer, ecc.

— contralto
fonte

In che modo i DBN possono essere reti di credenze sigmoide? !! I layer di un DBN sono RBM, quindi ogni layer è un campo markov random!

— Jack Twain,

Penso che ci sia un refuso qui "Questo perché i DBM sono diretti e i DBM non sono indirizzati". Penso che intendevi dire che i DBN non sono stati indirizzati

— Jack Twain,

@AlexTwain Sì, avrebbe dovuto leggere "I DBN sono diretti". Anche se potresti inizializzare un DBN imparando prima un gruppo di RBM, alla fine in genere sleghi i pesi e finisci con una profonda rete di credenze sigmoide (diretta). In gran parte del lavoro originale di DBN le persone hanno lasciato il livello superiore non indirizzato e quindi multato sintonizzato con qualcosa come wake-sleep, nel qual caso hai un ibrido.

— alto

Vuoi dire in 3. che non hanno "intralayer" connessioni (ad esempio tra nodi nel livello nascosto) piuttosto che * interstrato (ad esempio dall'input al livello nascosto)?

— ddiez

@ddiez Sì, è così che dovrebbe essere letto. Grazie per la correzione.

— alto

Entrambi sono modelli grafici probabilistici costituiti da strati sovrapposti di RBM. La differenza sta nel modo in cui questi strati sono collegati.

Questo link lo rende abbastanza chiaro: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . La Figura 2 e la Sezione 3.1 sono particolarmente rilevanti.

Riassumere:

In un DBN sono dirette le connessioni tra i layer. Pertanto, i primi due strati formano un RBM (un modello grafico non orientato), quindi i livelli successivi formano un modello generativo diretto.

In un DBM, la connessione tra tutti i layer non è indirizzata, quindi ogni coppia di layer forma un RBM.

— Darkensberge
fonte

così una macchina boltzmann profonda è ancora costruita da RBM? Sto basando le mie conclusioni sull'introduzione e sull'immagine nel documento

— Marin,