Quando si userebbe il campionamento di Gibbs invece di Metropolis-Hastings?

Esistono diversi tipi di algoritmi MCMC:

• Metropolis-Hastings
• Gibbs
• Campionamento di importanza / rifiuto (correlato).

Perché si dovrebbe usare il campionamento di Gibbs invece di Metropolis-Hastings? Ho il sospetto che ci siano casi in cui l'inferenza è più trattabile con il campionamento di Gibbs che con Metropolis-Hastings, ma non sono chiaro sui dettagli.

In primo luogo, fammi notare [in qualche modo pedanticamente]

Esistono diversi tipi di algoritmi MCMC: Metropolis-Hastings, Gibbs, campionamento di importanza / rifiuto (correlato).

$f$$\omega$$f$$f$$f$

In secondo luogo, la domanda

Perché qualcuno dovrebbe andare con il campionamento di Gibbs invece di Metropolis-Hastings? Sospetto che ci siano casi in cui l'inferenza è più trattabile con il campionamento di Gibbs che con Metropolis-Hastings

non ha una risposta in quanto un campionatore di Metropolis-Hastings può essere praticamente qualsiasi cosa, incluso un campionatore di Gibbs. Ho risposto in termini piuttosto dettagliati a una domanda precedente e simile. Vorrei aggiungere alcuni punti se ridondanti qui:

Il motivo principale per cui è stato introdotto il campionamento di Gibbs è stato quello di rompere la maledizione della dimensionalità (che influisce sia sul rifiuto che sul campionamento dell'importanza) producendo una sequenza di simulazioni a bassa dimensione che convergono ancora verso l'obiettivo giusto. Anche se la dimensione del target influisce sulla velocità della convergenza. I campionatori di Metropolis-Hastings sono progettati per creare una catena di Markov (come il campionamento di Gibbs) in base a una proposta (come il campionamento di importanza e rifiuto) correggendo la densità errata attraverso una fase di accettazione-rifiuto. Ma un punto importante è che non sono opposti: vale a dire, il campionamento di Gibbs può richiedere passaggi di Metropolis-Hastings di fronte a obiettivi condizionali complessi se di bassa dimensione, mentre le proposte di Metropolis-Hastings possono essere costruite su approssimazioni di (Gibbs) condizionali completi. In una definizione formale, Il campionamento di Gibbs è un caso speciale dell'algoritmo Metropolis-Hasting con una probabilità di accettazione di uno. (A proposito, mi oppongo all'uso dideduzione in quella citazione, come la riserverei a fini statistici , mentre quei campionatori sono dispositivi numerici .)

Di solito, il campionamento di Gibbs [inteso come esecuzione di una sequenza di simulazioni condizionali a bassa dimensione] è preferito in ambienti in cui la decomposizione in tali condizionali è facile da implementare e veloce da eseguire. In contesti in cui tali decomposizioni inducono la multimodalità e quindi una difficoltà a spostarsi tra le modalità (vengono in mente modelli variabili latenti come modelli di miscele), l'utilizzo di una proposta più globale in un algoritmo Metropolis-Hasting può produrre una maggiore efficienza. Ma lo svantaggio sta nella scelta della distribuzione della proposta nell'algoritmo Metropolis-Hasting.