Perché i cut-off utilizzati per i fattori e i valori p di Bayes sono così diversi?

Sto cercando di capire Bayes Factor (BF). Credo che siano come un rapporto di verosimiglianza di 2 ipotesi. Quindi se BF è 5, significa che H1 è 5 volte più probabile di H0. E un valore di 3-10 indica prove moderate, mentre> 10 indica prove forti.

Tuttavia, per il valore P, tradizionalmente 0,05 viene preso come cut-off. A questo valore P, il rapporto di probabilità H1 / H0 dovrebbe essere di circa 95/5 o 19.

Quindi perché un cut-off di> 3 è preso per BF mentre un cut-off di> 19 è preso per valori P? Questi valori non sono neanche vicini da nessuna parte.

— rnso
fonte

Sono a disagio nel dire "se BF è

, significa che

volte più probabile di

". Il fattore Bayes può essere un rapporto di probabilità marginale, ma non è un rapporto di probabilità o un rapporto di probabilità, e deve essere combinato con un precedente per essere utile

5

$5$

H_{1}

$H_1$

5

$5$

H_{0}

$H_0$

— Henry

Se non disponiamo di particolari informazioni preliminari, cosa possiamo dire sul significato di BF?

— rnso

Certamente, si hanno "alcune" informazioni preliminari anche se si dice che non ci sono particolari informazioni precedenti. Vale a dire, in quel caso è ragionevole assegnare pari probabilità a ciascuna ipotesi secondo il principio di indifferenza. Questo è un semplice esempio di un cosiddetto priore non informativo (certamente un termine improprio).

— dnqxt,

In questo caso BF di 5 indica un'ipotesi 5 volte più probabile?

— rnso

Sì, ma questo problema è molto più complicato di quanto possa sembrare e rientra nell'area della selezione dei modelli nelle statistiche. Sei stato avvisato :))

— dnqxt

Risposte:

Poche cose:

Il BF ti fornisce prove a favore di un'ipotesi, mentre un test di ipotesi frequentista ti fornisce prove contro un'ipotesi (nulla). Quindi è una specie di "mela alle arance".

Queste due procedure, nonostante la differenza nelle interpretazioni, possono portare a decisioni diverse. Ad esempio, un BF potrebbe rifiutare mentre un test di ipotesi del frequentatore non lo fa, o viceversa. Questo problema viene spesso definito il paradosso di Jeffreys-Lindley . Ci sono stati molti post su questo sito su questo; vedi ad esempio qui e qui .

"A questo valore P, la probabilità H1 / H0 dovrebbe essere 95/5 o 19." No, questo non è vero perché, approssimativamente $p(y \mid H_1) \neq 1- p(y \mid H_0)$ . Calcolare un valore p ed eseguire un test frequentista, come minimo, non richiede di avere idea di $p(y \mid H_1)$ . Inoltre, i valori p sono spesso integrali / somme di densità / pmfs, mentre un BF non si integra nello spazio di campionamento dei dati.

— Taylor
fonte

H_{0}

$\text{H}_0$

H_{1}

$\text{H}_1$

p

$p$

1 - ({belief in H}_{1})

$1 - (\text{belief in H}_1)$

p

$p$

H_{1}

$\text{H}_1$

H_{0}

$\text{H}_0$

H_{0}

$\text{H}_0$

p

$p$

H_{1}

$\text{H}_1$

p

$p$

p

$p$

p

$p$

p

$p$

$B_{01}$

P_{01} = \frac{1}{1 + \frac{1}{B_{01}}}

$P_{01}=\frac{1}{1+\frac{1}{\large B_{01}}}$

p

$p$

$P_{01}$
il suo valore e intervallo dipendono dalla scelta della misura precedente, sono quindi relativi piuttosto che assoluti (e la menzione di Taylor del paradosso di Lindley-Jeffreys è appropriata in questa fase )
$B_{01}$ $P_{01}$

$p$ $p$

Q_{01} = P (B_{01} (X) \leq B_{01} (x^{obs}))

$Q_{01}=\mathbb P(B_{01}(X)\le B_{01}(x^\text{obs}))$

x^{obs}

$x^\text{obs}$

X

$X$

X \sim \int_{Θ} f (x | θ) π (θ | x^{obs}) d θ

$X\sim \int_\Theta f(x|\theta) \pi(\theta|x^\text{obs})\,\text{d}\theta$

— Xi'an
fonte

Usando la tua formula, P per BF di 3 e 10 risulta rispettivamente 0,75 e 0,91. Perché dovremmo accettarli come prove moderate dal momento che per il valore P manteniamo un limite di 0,95?

— anche il

Perché è

0.95

$0.95$

La formula sembra più semplice comeP = B/(B+1)

— anche il

Parte della tua confusione potrebbe derivare dal prendere il numero 95/5 direttamente dal fatto che il valore p è 0,05 - è questo che stai facendo? Non credo sia corretto. Il valore p di un test t, ad esempio, riflette la possibilità di ottenere la differenza osservata tra le medie o una differenza più estrema se l'ipotesi nulla è effettivamente vera. Se ottieni un valore di p di 0,02, dici 'ah, c'è solo una probabilità del 2% di ottenere una differenza come questa, o una differenza maggiore, se il valore nullo è vero. Sembra molto improbabile, quindi propongo che il nulla non sia vero! '. Questi numeri non sono la stessa cosa che va nel fattore di Bayes, che è il rapporto delle probabilità posteriori date a ciascuna ipotesi in competizione. Queste probabilità posteriori non sono calcolate allo stesso modo del valore p,

Come nota a margine, suggerirei fortemente di non pensare a valori BF diversi come significanti cose particolari. Questi incarichi sono completamente arbitrari, proprio come il livello di significatività .05. Problemi come il p-hacking si verificano altrettanto facilmente con i fattori di Bayes se le persone iniziano a credere che solo numeri particolari meritino di essere presi in considerazione. Cerca di capirli per quello che sono, che sono qualcosa come le probabilità relative, e usa il tuo senso per determinare se trovi un numero BF prove convincenti o meno.

— Jamie
fonte