Casi d'uso moderni di macchine Boltzmann limitate (RBM)?

Background: molta della ricerca moderna negli ultimi 4 anni (post alexnet ) sembra essersi allontanata dall'uso della pre-generazione generativa per le reti neurali per ottenere risultati di classificazione all'avanguardia.

Ad esempio, i migliori risultati per mnist qui includono solo 2 articoli dei primi 50 che sembrano usare modelli generativi, entrambi i quali sono RBM. Gli altri 48 articoli vincitori riguardano diverse architetture discriminatorie di feed forward, con molti sforzi per trovare inizializzazioni di peso migliori / nuove e funzioni di attivazione diverse dal sigmoide usato nell'RBM e in molte reti neurali più vecchie.

Domanda: c'è qualche motivo moderno per usare più le macchine Boltzmann limitate?

Altrimenti, c'è una modifica di fatto che si può applicare a queste architetture feed forward per rendere generativi i loro strati?

Motivazione: chiedo perché alcuni dei modelli che vedo disponibili, di solito varianti sull'RBM, non hanno necessariamente ovvie controparti discriminatorie analoghe a questi strati / modelli generativi e viceversa. Per esempio:

• mcRBM

• ssRBM

• CRBM (sebbene si possa sostenere che la CNN abbia usato architetture feed forward sia l'architettura analoga discriminatoria)

Inoltre, questi erano chiaramente anche pre alexnet, dal 2010, 2011 e 2009 rispettosamente.

Questa è una specie di vecchia domanda, ma dal momento che chiede essenzialmente "migliori pratiche", piuttosto che ciò che è effettivamente tecnicamente possibile (cioè, non ha bisogno di troppa attenzione alla ricerca), le migliori pratiche attuali sono qualcosa come:

• Gli RBM non sono normalmente utilizzati al momento
• ove possibile vengono utilizzati modelli lineari (regressione lineare, regressione logistica)
• in caso contrario reti di feed-forward profonde con layer come layer completamente connessi, layer convoluzionali e introduzione in una sorta di layer di regolarizzazione, come dropout e ultimamente normalizzazione batch
• ovviamente con strati di attivazione nel mezzo, in genere ReLU, ma vengono usati anche tanh e sigmoid
• e probabilmente alcuni max-pool (non sempre: vengono utilizzati anche pool medi e altri)

Per gli usi generativi, le tecniche comuni includono:

• GAN e i suoi miliardi di varianti, http://www.cs.toronto.edu/~dtarlow/pos14/talks/goodfellow.pdf
• codificatori automatici, ma recentemente tendono a essere sostituiti da:
  • codificatori automatici variazionali, VAE, https://arxiv.org/abs/1312.6114
  • CNN generativi, wavenet: https://deepmind.com/blog/wavenet-generative-model-raw-audio/
• RNN, ad esempio seq2seq https://arxiv.org/pdf/1409.3215v3.pdf

Di recente ho trovato questo documento su "Boltzmann Encoded Adversarial Machines" che integra le RBM con le CNN come modello generativo.

Gli autori dimostrano che in qualche modo è matematicamente "migliore" e mostrano alcuni esempi di giocattoli in cui BEAM sembra molto più capace di apprendere accuratamente la distribuzione dei dati rispetto ad altri modelli GAN.

Il benchmark del "mondo reale" dei volti di CelebA era molto meno impressionante: non è chiaro che BEAM faccia meglio o addirittura così come altri GAN popolari. Tuttavia, l'uso di RBM in questa impostazione è sicuramente interessante.