Come rispondere ai revisori che chiedono valori p nel modello multilivello bayesiano?


15

Un revisore ci ha chiesto di fornire valori p per comprendere meglio le stime del modello nel nostro modello multilivello bayesiano. Il modello è un modello tipico di più osservazioni per partecipante in un esperimento. Abbiamo stimato il modello con Stan, quindi possiamo facilmente calcolare ulteriori statistiche posteriori. Attualmente, stiamo riportando (visivamente e in tabelle) la stima media e i quantili 0,025 e 0,975.

La mia risposta finora includerebbe:

  1. I valori di P sono incompatibili con i modelli bayesiani, ovvero P(X|θ)P(θ|X).
  2. Sulla base del posteriore, possiamo calcolare la probabilità che i parametri siano più grandi (più piccoli) di 0. Questo assomiglia un po 'a un valore p tradizionale.

La mia domanda è se questa è una risposta che può soddisfare un recensore o causerà solo più confusione?


Aggiornamento 10 ottobre: ​​abbiamo riscritto il documento tenendo presente i consigli nella risposta. Il documento è accettato, quindi ribadirò il mio precedente commento che questo è stato davvero un consiglio utile!


2
Forse il recensore sta chiedendo i soliti valori p frequentatore, indipendentemente dal modello bayesiano?
Stéphane Laurent,

1
È così ovvio che non ci avevo nemmeno pensato. Il modello presenta alcune complicazioni (priori debolmente informativi, alcuni valori mancanti sulle variabili esplicative) che rendono abbastanza difficile eseguire una versione frequentista, ma penserò di riportare un modello ridotto con i valori p del frequentista.
stijn,

Risposte:


13

In primo luogo, un rapido chiarimento: sebbene la probabilità non sia effettivamente posteriore, i valori p non sono così incoerenti con l'inferenza bayesiana come di solito solo una cosa diversa, per tutte le ragioni per cui gli intervalli di confidenza possono o meno allinearsi a intervalli credibili. (Anche se non necessariamente una cosa completamente diversa, come mostrato dal controllo predittivo posteriore, che coinvolge davvero i valori p.)

Tuttavia, suppongo che questo livello di sofisticazione non sia quello che il recensore ha in mente. Immagino che semplicemente "sappiano" che i modelli statistici devono avere valori p, quindi li hanno richiesti. Quindi la domanda rimane: come rispondere?

Quando 'revisore vuole una X' ho trovato utile farmi due domande correlate:

  1. Motivazione: cosa vogliono che X faccia per loro?

  2. Ricostruzione razionale: quale sarebbe la cosa più sensata dal suono simile che avrebbero potuto chiedere invece di X se volessero farlo?

Daglielo invece.

Il vantaggio di un revisore ignorante (che può comunque essere intelligente e giusto riguardo al documento) è che raramente hanno un'idea chiara di cosa significano quando chiedono X. Ciò significa che se li ricostruisci facendo una domanda migliore, loro ' Sarò contento di vederti rispondere invece.

Nel tuo caso, è del tutto possibile che il revisore desideri un'analisi parallela del frequentatore, anche se ne dubito. Ciò su cui penso che tu voglia lavorare è il suggerimento del revisore che vogliono che i valori p "comprendano meglio il modello". Il tuo lavoro, penso, è di analizzarlo in un modo che renda saggio il recensore. Presumibilmente c'erano alcune frasi seguenti che notavano ciò che non era chiaro dal documento. Forse ci sono stati alcuni effetti di interesse per il revisore che non potevano essere ricostruiti dai tuoi parametri marginali, o alcune quantità che avrebbero illuminato ciò che il modello avrebbe detto sui casi di interesse per loro, o una mancanza di un solo numero di riepiloghi ...

Se riesci a identificare queste preoccupazioni, puoi racchiudere la tua risposta nei seguenti moduli (richiesta originale tra parentesi quadre):

"il revisore [richiede un valore p per un termine di interazione] era preoccupato che dalla nostra presentazione non fosse chiaro come A variava con B, quindi nella Figura 2 mostriamo ..." o "il revisore si chiedeva [se potevamo rifiutare il ipotesi che l'effetto di A sia zero] sulla direzione dell'effetto di A. La tabella 3 mostra che questo modello offre una probabilità del 99% che questo sia negativo "o" il recensore si chiede [se il nostro modello è significativamente più adatto di un modello contenente solo A] come il nostro modello rispetto a uno contenente solo A. Affrontiamo questa domanda confrontandola con ... usando DIC / calcolando un fattore di Bayes / mostrando le nostre inferenze su A sono solide per l'inclusione di B "ecc.

In ogni caso c'è una traduzione stretta della richiesta originale e una risposta.

Avvertenze: questa strategia sembra funzionare meglio quando il revisore è un esperto in materia con una comprensione relativamente debole delle statistiche. Esso non funziona con l'utente statisticamente sofisticato auto-identificato che effettivamente non vuole una X, perché come Xs o leggere su di loro da qualche parte di recente. Non ho suggerimenti per quest'ultimo.

Infine, consiglierei vivamente di non dire nulla anche vagamente religioso sul fatto che Bayes sia un paradigma diverso e che le domande dei revisori non abbiano alcun senso al suo interno. Anche se questo è vero, rende tutti scontrosi per nessun guadagno reale.


1
Sarà probabilmente allettante notare che i valori p sono un po 'difficili da definire nei modelli multilivello frequentisti. Non farlo neanche ;-)
conjugateprior,

4
PP

Quindi siamo sulla stessa pagina allora. O questa è una risposta a @ stéphane-laurent
conjugateprior il

Sì, scusa, non l'ho chiarito
Frank Harrell,

@conjugateprior Grazie! Enorme aiuto. Mi sono già reso conto che menzionare i valori di p nei problemi dei modelli multilivello sarebbe odioso. Ma il mio punto 1 potrebbe ugualmente risultare "debolmente religioso" come dici tu.
stijn
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.