Selezione del modello ABC

È stato dimostrato che la scelta del modello ABC utilizzando i fattori di Bayes non è raccomandabile a causa della presenza di un errore derivante dall'uso di statistiche riassuntive. La conclusione in questo articolo si basa sullo studio del comportamento di un metodo popolare per l'approssimazione del fattore di Bayes (Algoritmo 2).

È noto che i fattori di Bayes non sono l'unico modo per condurre la scelta del modello. Esistono altre funzionalità, come le prestazioni predittive di un modello, che potrebbero essere di interesse (ad es. Regole di punteggio ).

La mia domanda è : esiste un metodo, analogo all'algoritmo 2, per approssimare alcune regole di punteggio o altre quantità che possono essere utilizzate per condurre la scelta del modello in termini di prestazioni predittive in contesti con probabilità complicate?

Bella domanda basata sul nostro lavoro ! Sei a conoscenza del documento di follow-up in cui ricaviamo condizioni sulla statistica riassuntiva per ottenere coerenza nel fattore Bayes? Ciò può sembrare troppo teorico, ma la conseguenza dei risultati asintotici è piuttosto semplice:

Data una statistica riassuntiva , $T$

eseguire un algoritmo ABC basato su per ciascun modello in fase di valutazione ( ) e stimare i parametri di tali modelli mediante la stima ABC ; $T$ $i=1,..,I$ $\theta_i$ $\hat\theta_i(T)$
simulare la distribuzione della statistica per ciascun modello e ciascun parametro stimato, mediante un esperimento di Monte Carlo; $T$
controlla se i mezzi sono tutti diversi usando il passaggio 2 con un numero sufficientemente elevato di iterazioni e, ad esempio, un test t. $\mathbb{E}_{\hat\theta_i(T)}[T(X)]$

Questa procedura non è nella prima versione del documento ma dovrebbe presto apparire nella versione rivista

— Xi'an
fonte

Grazie per la tua risposta. Non ero a conoscenza del secondo documento. È un risultato interessante Una domanda che mi viene in mente è il presupposto della normalità sul test t (so che è robusto, ma potrebbe anche fallire) insieme al livello di significatività richiesto per una buona approssimazione. Sei a conoscenza di altre tecniche di confronto tra modelli con ABC? Ricordo un articolo su DIC su arxiv. (Assegnerò la taglia in un paio di giorni per vedere se qualcun altro mostra interesse per la domanda, non sono cattivo :))

Dato che si tratta del mio documento / ricerca, non merito davvero una taglia, vero ?!

— Xi'an,

È una bella risposta Ho solo la sensazione che hai saltato due volte la domanda sull'esistenza di altre tecniche per misurare le prestazioni predittive di un modello usando ABC. Anche un "sì, esiste" o un "no, almeno per quanto ne so" farebbe il lavoro.

A proposito di altri metodi, suggerirei di dare un'occhiata a di Ratmann et al. (2009) , che considera solo le prestazioni di ciascun modello all'interno di questo modello, confrontando gli errori osservati con la distribuzione degli errori simulati. Non del tutto perfetto , ma comunque molto accattivante.

{ABC}_{μ}

$\text{ABC}_\mu$

— Xi'an,