Va bene adattarsi prima a un modello bayesiano, quindi iniziare a indebolire i priori?

Quando si eseguono statistiche frequentiste, esiste un lungo elenco di no no, come guardare i risultati dei test statistici prima di decidere di raccogliere più dati. Mi chiedo in generale se esiste un elenco simile di no-no per le metodologie coinvolte nelle statistiche bayesiane e in particolare se quanto segue è uno di questi.

Di recente mi sono reso conto che per alcuni dei modelli che ho adattato, il mio processo è stato innanzitutto quello di adattare il modello a priori informativi per vedere se funzionava o esplodere, e quindi indebolire i priori in disinformativi o debolmente informativi e rimontare il modello.

La mia motivazione per questo ha davvero a che fare con il fatto che sto scrivendo questi modelli in JAGS / Stan, e nella mia mente lo sto trattando più come un compito di programmazione che uno statistico. Quindi, faccio una prima manche, una sorta di sartiame per convergere rapidamente usando priori informativi, rendendo più facile rilevare errori nel modello che ho scritto. Quindi, dopo aver eseguito il debug del modello, lo refitto con priori non informativi o debolmente informativi.

La mia domanda è se sto infrangendo alcune regole serie con questo processo. Ad esempio, affinché le mie inferenze siano valide e per evitare di sfruttare i gradi di libertà dei ricercatori, devo impegnarmi con priori specifici prima di iniziare a montare qualche modello?

I bayesiani soggettivi potrebbero non essere d'accordo, ma dal mio punto di vista, il priore è solo una parte del modello, come la probabilità. Modificare il precedente in risposta al comportamento del modello non è migliore o peggiore della modifica della funzione di probabilità (ad esempio, provare diverse distribuzioni di errori o diverse formulazioni del modello).

Può essere pericoloso se ti consente di fare una spedizione di pesca, ma le alternative possono essere peggiori. Ad esempio, nel caso che hai citato, dove il tuo modello esplode e ottieni coefficienti senza senso, allora non hai molta scelta ma riprovare.

Inoltre, ci sono alcuni passaggi che puoi adottare per ridurre al minimo i pericoli di una spedizione di pesca:

• Decidi in anticipo quale prima utilizzerai nell'analisi finale
• Essere sinceri quando pubblichi o descrivi le tue analisi sull'intera procedura
• Fare il più possibile con dati simulati e / o tenere dati per l'analisi finale. In questo modo, non contaminerai troppo la tua analisi.

Se si sperimenta con priori e si seleziona uno in termini di prestazioni sui dati a portata di mano, non è più un "precedente". Non dipende solo dai dati (come in un'analisi empirica di Bayes), ma dipende anche da ciò che si desidera vedere (che è peggio). Alla fine, usi gli strumenti bayesiani, ma questo non può essere chiamato un'analisi bayesiana.

Penso che tu stia bene in questo caso per tre motivi:

1. In realtà non stai adeguando i tuoi priori in risposta ai tuoi risultati. Se hai detto qualcosa del tipo: "Uso i priori XYZ e in base al tasso di convergenza e ai miei risultati DIC, modifico il mio precedente da ABC", quindi direi che stavi commettendo un no-no, ma in questo caso sembra che tu non lo stia davvero facendo.

2. In un contesto bayesiano, i priori sono espliciti. Quindi è possibile che tu modifichi i tuoi priori in modo improprio, ma i priori risultanti saranno sempre visibili per l'ispezione da parte di altri che possono mettere in discussione il motivo per cui hai quei priori particolari. Forse sono ingenuo qui, dal momento che è facile dare un'occhiata a qualcosa come un precedente e dire "Hmm, sembra ragionevole" semplicemente perché qualcuno lo ha offerto, ma ...

3. Penso che quello che stai facendo sia legato al consiglio di Gelman (e di altri) di costruire un modello JAGS pezzo per pezzo, lavorando prima con dati sintetici, poi dati reali, per assicurarti di non avere un errore di specifica . Questo non è davvero un fattore nella metodologia frequentista, e non è in realtà una metodologia sperimentale.

Poi di nuovo, sto ancora imparando queste cose da solo.

PS Quando dici che in origine lo hai costretto a convergere rapidamente con "priori informativi", intendi in realtà priori informativi che sono motivati ​​dal problema in questione, o solo priori che per ragioni arbitrarie spingono / limitano fortemente il posteriore per accelerare la "convergenza "ad un certo punto arbitrario? Se è il primo caso, perché ti allontani da questi priori (motivati)?

Penso che questo potrebbe essere un no no indipendente dalla scuola bayesiana. Jeffreys vorrebbe usare priori non informativi. Lindley potrebbe volerti usare priori informativi. I bayesiani empirici ti chiederebbero di lasciare che i dati influenzino il precedente. Ma penso che sebbene ogni scuola stia dando un suggerimento diverso sulla scelta del precedente, tutti hanno un approccio che non significa che puoi prendere il precedente e continuare a modificarlo fino a ottenere i risultati desiderati. Sarebbe sicuramente come guardare i dati e continuare a raccogliere dati e testare fino a quando non si raggiunge la nozione preconcetta di quale dovrebbe essere la risposta.

Frequentista o bayesiano non importa, non penso che qualcuno vorrebbe che tu giocassi brutti scherzi (o massaggi) con i dati. Forse questo è qualcosa su cui tutti possiamo essere d'accordo e la poesia divertente di Peter è davvero all'apropo.

Direi di no, non devi impegnarti a priori specifici. Generalmente durante qualsiasi analisi dei dati bayesiani è necessario eseguire un'analisi della sensibilità del modello rispetto al precedente. Ciò includerebbe provare vari altri priori per vedere cosa succede ai risultati. Questo potrebbe rivelare un precedente migliore o più robusto che dovrebbe essere usato.

I due "no-no" ovvi sono: giocare con il precedente troppo per ottenere un adattamento migliore, con conseguente adattamento eccessivo e modifica degli altri parametri del modello per ottenere un adattamento migliore. Come esempio del primo: cambiare un precedente iniziale sulla media in modo che sia più vicino alla media del campione. Per il secondo: cambiare le variabili / caratteristiche esplicative in una regressione per adattarsi meglio. Questo è un problema in qualsiasi versione di regressione e sostanzialmente invalida i tuoi gradi di libertà.