Macchina Boltzmann limitata: come viene utilizzata nell'apprendimento automatico?

21

Sfondo:

Sì, è possibile utilizzare la macchina Boltzmann con restrizioni (RBM) per avviare i pesi di una rete neurale. Inoltre PUO 'essere usato in modo "strato per strato" per costruire una rete di credenze profonde (cioè per addestrare un -esimo strato sulla parte superiore di -esimo strato, e quindi per addestrare strato sulla parte superiore -esimo strato, sciacquare e ripetere ...) $n$ $(n-1)$ $n+1$ $n$ .

Per quanto riguarda l'uso di RBM, è possibile trovare i dettagli dal thread di Good tutorial for Restricted Boltzmann Machines (RBM) in cui è possibile trovare alcuni documenti e tutorial.

La mia domanda sarebbe:

RBM è davvero utilizzato in progetti industriali o accademici
Se sì, come e quali progetti viene utilizzato?
Qualche libreria popolare (come tensorflow, Caffe, Theono, ecc.) Fornisce il modulo RBM?

Grazie per la condivisione. Vorrei sapere se RBM è davvero utile in pratica.

— Bill Ancalagon il nero
fonte

2

RBM è stato uno dei primi modi pratici di formazione / apprendimento di una rete profonda, con più di uno o due livelli. E la rete di credenze profonde è stata proposta da Geoffrey Hinton, che è considerato uno dei "padri dell'apprendimento profondo", suppongo, sebbene Yann LeCun sia l'altro "padre" principale dell'apprendimento profondo, penso, o è così che lo vedo. Certo, tutto era già stato inventato anni fa da Jurgen Schmidhuber :-)

Quindi, gli RBM sono famosi perché 1. uno dei primi modi di fare l'apprendimento profondo 2. Geoffrey Hinton.

Tuttavia, in pratica, sono sicuramente utilizzati e utilizzabili nella ricerca accademica, dal momento che ci sono molte persone che cercano di trovare una nicchia unica, di cui possono essere esperti, ed essere l'esperto in tutto il mondo in una nicchia di RBM è un buon di nicchia come qualsiasi altra. Tuttavia, in pratica, nell'industria, mentre non pretendo che non siano mai stati usati, ma escono molto raramente. Esistono semplicemente tante tecniche molto standard, che si allenano molto velocemente e facilmente, come la regressione logistica e le reti neurali convoluzionali feed-forward. Per i non supervisionati, cose come i GAN sono molto popolari al momento.

— Hugh Perkins
fonte

1

È possibile utilizzare gli RBM per affrontare i problemi tipici che sorgono nella raccolta dei dati (che potrebbero essere utilizzati ad esempio per formare un modello di apprendimento automatico). Tali problemi includono set di dati non bilanciati (in un problema di classificazione) o set di dati con valori mancanti (i valori di alcune funzionalità sono sconosciuti). Nel primo caso è possibile addestrare un RBM con i dati della classe di minoranza e usarlo per generare esempi per questa classe, mentre nel secondo caso è possibile addestrare un RBM separatamente per ogni classe e scoprire valori di funzionalità sconosciuti.

Un'altra applicazione tipica degli RBM è il filtro collaborativo ( http://dl.acm.org/citation.cfm?id=1273596 ).

Per quanto riguarda le biblioteche popolari, penso che deeplearning4j sia un buon esempio ( http://deeplearning4j.org ).

— kostas
fonte