Sì. A differenza di quanto affermano le altre risposte, i metodi "tipici" di apprendimento automatico come le reti non parametriche e (profonde) neurali possono aiutare a creare migliori campionatori MCMC.
L'obiettivo di MCMC è quello di prelevare campioni da una distribuzione target (non normalizzata) . I campioni ottenuti vengono utilizzati per approssimare e consentono principalmente di calcolare le aspettative delle funzioni sotto (cioè integrali ad alta dimensione) e, in particolare, le proprietà di (come i momenti).f( x )fff
Il campionamento di solito richiede un gran numero di valutazioni di , e possibilmente del suo gradiente, per metodi come Hamiltonian Monte Carlo (HMC). Se è costoso da valutare o il gradiente non è disponibile, a volte è possibile creare una funzione surrogata meno costosa che può aiutare a guidare il campionamento e viene valutata al posto di (in un modo che conserva ancora le proprietà di MCMC).fff
Ad esempio, un articolo fondamentale ( Rasmussen 2003 ) propone di utilizzare i processi gaussiani (un'approssimazione di funzioni non parametriche) per costruire un'approssimazione a ed eseguire HMC sulla funzione surrogata, con solo la fase di accettazione / rifiuto di HMC basata su . Ciò riduce il numero di valutazione dell'originale e consente di eseguire MCMC su pdf che altrimenti sarebbero troppo costosi da valutare.logfff
L'idea di utilizzare i surrogati per accelerare MCMC è stata esplorata molto negli ultimi anni, essenzialmente provando diversi modi per costruire la funzione surrogata e combinarla in modo efficiente / adattativo con diversi metodi MCMC (e in modo da preservare la correttezza "del campionamento MCMC). In relazione alla tua domanda, questi due articoli molto recenti usano tecniche avanzate di machine learning - reti casuali ( Zhang et al. 2015 ) o funzioni esponenziali del kernel apprese in modo adattivo ( Strathmann et al. 2015 ) - per costruire la funzione surrogata.
HMC non è l'unica forma di MCMC che può beneficiare di surrogati. Ad esempio, Nishiara et al. (2014) costruiscono un'approssimazione della densità target adattando la distribuzione di uno Studente multivariato allo stato multi-catena di un campionatore di ensemble, e usatelo per eseguire una forma generalizzata di campionamento a fetta ellittica .t
Questi sono solo esempi. In generale, è possibile utilizzare una serie di tecniche ML distinte (principalmente nell'area dell'approssimazione delle funzioni e della stima della densità) per estrarre informazioni che potrebbero migliorare l'efficienza dei campionatori MCMC. Loro effettiva utilità - es misurata in numero di "campioni indipendenti efficaci al secondo" - è subordinato è costoso o alquanto difficile calcolo; inoltre, molti di questi metodi potrebbero richiedere un perfezionamento delle proprie conoscenze o conoscenze aggiuntive, limitandone l'applicabilità.f
Riferimenti:
Rasmussen, Carl Edward. "Processi gaussiani per accelerare l'ibrido Monte Carlo per costosi integrali bayesiani." Statistica bayesiana 7. 2003.
Zhang, Cheng, Babak Shahbaba e Hongkai Zhao. "Accelerazione hamiltoniana di Monte Carlo che utilizza funzioni surrogate con basi casuali." arXiv prestampa arXiv: 1506.05555 (2015).
Strathmann, Heiko, et al. "Monte Carlo Hamiltoniano senza gradiente con famiglie esponenziali del kernel efficienti." Progressi nei sistemi di elaborazione delle informazioni neurali. 2015.
Nishihara, Robert, Iain Murray e Ryan P. Adams. "Parallel MCMC con campionamento ellittico generalizzato della fetta." Journal of Machine Learning Research 15.1 (2014): 2087-2112.