In che modo ABC e MCMC differiscono nelle loro applicazioni?

Per quanto mi riguarda, il calcolo approssimativo bayesiano (ABC) e la catena di Markov Monte Carlo (MCMC) hanno obiettivi molto simili. Di seguito descrivo la mia comprensione di questi metodi e come percepisco le differenze nella loro applicazione ai dati della vita reale.

Calcolo bayesiano approssimativo

L'ABC consiste nel campionare un parametro da una simulazione numerica precedente, calcolando una statistica x i che viene confrontata con alcune x o b s osservate . Basato su un algoritmo di rifiuto, x i viene mantenuto o rifiutato. L'elenco delle trattenute x i s ha reso la distribuzione a posteriori.$\theta$$x_i$$x_{obs}$$x_i$$x_i$

Catena Markov Monte Carlo

MCMC consiste nel campionare una distribuzione precedente del parametro . Prende un primo campione θ 1 , calcola P ( x o b s | θ 1 ) P ( θ 1 ) e poi salta (secondo una regola) a un nuovo valore θ 2 per il quale P ( x o b s | θ 2 ) Viene nuovamente calcolato P ( θ 2 ) . Il rapporto P ( x o b $\theta$$\theta_1$$P(x_{obs} | \theta_1)P(\theta_1)$$\theta_2$$P(x_{obs} | \theta_2)P(\theta_2)$ viene calcolato e in base ad un certo valore di soglia, il salto successivo avverrà dalla prima o dalla seconda posizione. L'esplorazione diθvalori procede uno e uno e alla fine, la distribuzione deivaloriretainmantenutiè la distribuzione posterioreP(θ|x)(per una ragione che mi è ancora sconosciuta).$\frac{P(x_{obs} | \theta_2)P(\theta_2)}{P(x_{obs} | \theta_1)P(\theta_1)}$$\theta$$\theta$$P(\theta | x)$

Mi rendo conto che le mie spiegazioni mancano di rappresentare la varietà di metodi esistenti in ciascuno di questi termini (specialmente per MCMC).

ABC vs MCMC (pro e contro)

ABC ha il vantaggio di non dover essere in grado di risolvere analiticamente . Come tale ABC è conveniente per il modello complesso in cui MCMC non lo farebbe.$P(x | \theta)P(\theta)$

MCMC consente di effettuare test statistici (test del rapporto di verosimiglianza, test G, ...) mentre non credo sia fattibile con ABC.

Ho ragione finora?

Domanda

• In che modo ABC e MCMC differiscono nelle loro applicazioni? Come si decide di utilizzare l'uno o l'altro metodo?

Alcuni commenti aggiuntivi in ​​cima alla risposta di Björn:

1. La ABC fu introdotta per la prima volta da Rubin (1984) come una spiegazione della natura dell'inferenza bayesiana, piuttosto che a fini computazionali. In questo articolo ha spiegato come la distribuzione campionaria e la distribuzione precedente interagiscono per produrre la distribuzione posteriore.

2. L'ABC è tuttavia principalmente sfruttata per motivi computazionali. I genetisti della popolazione hanno escogitato il metodo su modelli basati su alberi in cui la probabilità del campione osservato era intrattabile. Gli schemi MCMC (Data Augmentation) disponibili in tali contesti erano terribilmente inefficienti, così come lo era il campionamento di importanza, anche con un parametro di una singola dimensione ... Al suo centro, ABC è un sostituto dei metodi Monte Carlo come MCMC o PMC quando quelli non sono disponibili per tutti gli scopi pratici. Quando sono disponibili, ABC appare come proxy che può essere utilizzato per calibrarli se funziona più velocemente.

3. In una prospettiva più moderna, personalmente considero l'ABC come un metodo di inferenza approssimativa piuttosto che una tecnica computazionale. Costruendo un modello approssimativo, si può fare deduzione sul parametro di interesse senza necessariamente fare affidamento su un modello preciso. Sebbene in questa impostazione sia necessario un certo grado di convalida, non è meno valido rispetto alla media dei modelli o ai parametri non parametrici. In effetti, l'ABC può essere visto come un tipo speciale di statistiche bayesiane non parametriche.

4. Si può anche dimostrare che l'ABC (rumoroso) è un approccio bayesiano perfettamente definito se si sostituisce il modello originale e i dati con uno rumoroso. In quanto tale, consente tutte le inferenze bayesiane a cui si può pensare. Compreso il test. Il nostro contributo al dibattito sull'ABC e il test delle ipotesi è che il modello approssimativo alla base dell'ABC potrebbe risultare scarsamente attrezzato per valutare la pertinenza di un'ipotesi dati i dati, ma non necessariamente , il che è altrettanto valido dal momento che la maggior parte delle applicazioni dell'ABC nella popolazione la genetica riguarda la scelta del modello.

5. In una prospettiva ancora più recente, possiamo vedere l'ABC come una versione bayesiana dell'inferenza indiretta in cui i parametri di un modello statistico sono correlati con i momenti di una statistica predeterminata. Se questa statistica è sufficiente (o sufficiente in senso vernacolare) per identificare questi parametri, si può dimostrare che ABC converge al valore reale dei parametri con il numero di osservazioni.

$P(x|\theta)$$\theta$i dati simulati il ​​più delle volte (approssimativamente) corrispondono ai dati osservati (con valori proposti, ad es. estratti casualmente dal precedente). Per casi semplici, come una singola variabile casuale binomiale con una dimensione del campione non troppo grande, puoi persino richiedere una corrispondenza esatta e in quei casi, non c'è assolutamente nulla che non potresti fare con questi campioni posteriori che non potresti fare con campioni standard MCMC. Per situazioni più complesse con esiti continui (anche per esiti discreti multivariati) e potenzialmente multivariati che richiedono una corrispondenza esatta non è più possibile.

Esistono infatti versioni MCMC di ABC, che affrontano il problema che se si dispone di un priore che non assomiglia molto al posteriore (ad esempio perché il priore è molto poco informativo) il campionamento attingendo dal priore è estremamente inefficiente, perché raramente ottenere una corrispondenza ravvicinata tra i dati osservati e quelli simulati.

$P(x|\theta)$$P(x|\theta)$$P(x|\theta)$non è analiticamente disponibile. Naturalmente in questi casi potrebbero esserci altre opzioni (ad esempio INLA, approssimazioni quadratiche alle probabilità ecc.) Che potrebbero essere più efficienti / efficaci per problemi particolari. In un certo senso, qualsiasi limitazione di ciò che è possibile fare con i campioni posteriori di ABC deriva dal fatto che è richiesta solo una corrispondenza approssimata tra i dati reali e quelli simulati (se si potesse richiedere una corrispondenza esatta, non ci sarebbero problemi). Ci sono molti buoni articoli introduttivi, ad esempio questo articolo di Marin et al. (2012) . Almeno uno dei coautori (@ Xi'an) è un collaboratore attivo qui e mi piacerebbe anche qui i suoi pensieri - credo che potrebbe essere in grado di dire molto di più sull'argomento dei test.