Usare il valore p per calcolare la probabilità che l'ipotesi sia vera; cos'altro serve?

9

Domanda:

Un malinteso comune sui valori di p è che rappresentano la probabilità che l'ipotesi nulla sia vera. So che non è corretto e so che i valori p rappresentano solo la probabilità di trovare un campione estremo come questo, dato che l'ipotesi nulla è vera. Tuttavia, intuitivamente, si dovrebbe essere in grado di derivare il primo da quest'ultimo. Ci deve essere un motivo per cui nessuno lo sta facendo. Quali informazioni ci mancano che ci impediscono di derivare la probabilità che l'ipotesi sia vera dal valore p e dai dati correlati?

Esempio:

La nostra ipotesi è "La vitamina D influisce sull'umore" (l'ipotesi nulla è "nessun effetto"). Diciamo che eseguiamo uno studio statistico appropriato con 1000 persone e troviamo una correlazione tra umore e livelli vitaminici. A parità di tutte le altre condizioni, un valore p di 0,01 indica una maggiore probabilità di ipotesi vera rispetto a un valore p di 0,05. Diciamo che otteniamo un valore p di 0,05. Perché non possiamo calcolare la probabilità effettiva che la nostra ipotesi sia vera? Quali informazioni ci mancano?

Terminologia alternativa per statistici frequentisti:

Se accetti la premessa della mia domanda, puoi smettere di leggere qui. Quanto segue è per le persone che rifiutano di accettare che un'ipotesi può avere un'interpretazione di probabilità. Dimentichiamo la terminologia per un momento. Anziché...

Diciamo che stai scommettendo con il tuo amico. Il tuo amico ti mostra mille studi statistici su argomenti non correlati. Per ogni studio è consentito esaminare solo il valore p, la dimensione del campione e la deviazione standard del campione. Per ogni studio, il tuo amico ti offre alcune probabilità di scommettere che l'ipotesi presentata nello studio è vera. Puoi scegliere di prendere la scommessa o di non accettarla. Dopo aver fatto le scommesse per tutti i 1000 studi, un oracolo sale su di te e ti dice quali ipotesi sono corrette. Questa informazione ti consente di regolare le scommesse. La mia affermazione è che esiste una strategia ottimale per questo gioco. Nella mia visione del mondo ciò equivale a conoscere le probabilità che l'ipotesi sia vera, ma se non siamo d'accordo su questo, va bene. In tal caso, possiamo semplicemente parlare di come utilizzare i valori p per massimizzare le aspettative per le scommesse.

— Atte Juvonen
fonte

Vedi, ad esempio: math.tut.fi/~piche/bayes/notes06.pdf

— klumbard

13

"Quali informazioni ci mancano" - la probabilità precedente che H0 sia vera. È solo il teorema di Bayes; per calcolare il posteriore, devi avere un precedente.

— amoeba,

1

@AdamO Non vedo come segue la regola di Cromwell, che riguarda il precedente, non il posteriore. Penso che potresti confondere la "verità" con la "certa conoscenza". Se fossimo interessati a determinate conoscenze, useremmo la logica, piuttosto che il ragionamento probabilistico.

— Dikran Marsupial,

1

@AdamO Non lo seguo. OP ha chiesto "Quali informazioni ci mancano che ci impediscono di derivare la probabilità che l'ipotesi sia vera dal valore p e dai dati correlati?" Cosa c'entra la probabilità 1 e sapere qualcosa come verità?

— ameba,

1

In risposta al tuo precedente commento @ Atte: bene, se si vuole assumere un precedente di 0,5, va bene, ma non vedo perché questo dovrebbe sempre essere un presupposto significativo. In ogni caso, è un presupposto.

— amoeba,

5

Altre risposte sono tutte filosofiche, ma non vedo perché sia necessario qui. Consideriamo il tuo esempio:

La nostra ipotesi è "La vitamina D influisce sull'umore" (l'ipotesi nulla è "nessun effetto"). Diciamo che eseguiamo uno studio statistico appropriato con 1000 persone e troviamo una correlazione tra umore e livelli vitaminici. A parità di tutte le altre condizioni, un valore p di 0,01 indica una maggiore probabilità di ipotesi vera rispetto a un valore p di 0,05. Diciamo che otteniamo un valore p di 0,05. Perché non possiamo calcolare la probabilità effettiva che la nostra ipotesi sia vera? Quali informazioni ci mancano?

Per , ottenendo corrisponde al coefficiente di correlazione campionaria . L'ipotesi nulla è . L'ipotesi alternativa è . $n=1000$ $p=0.05$ $\hat \rho=0.062$ $H_0: \rho=0$ $H_1: \rho\ne 0$

Il p-value è e possiamo calcolare che in base alla distribuzione campionamento sotto il nullo; nient'altro è necessario.

p -valore = P (| \hat{ρ} | \geq 0,062 | ρ = 0),

$p\text{-value} = P\big(|\hat\rho|\ge 0.062 \;\big|\; \rho=0\big),$

\hat{ρ}

$\hat\rho$

Si desidera calcolare

P (H_{0} | dati) = P (ρ = 0 | \hat{ρ} = 0,062),

$P(H_0\;|\;\text{data})=P\big(\rho=0\;\big|\; \hat\rho= 0.062\big),$

e per questo è necessario l'intero gruppo di ingredienti aggiuntivi. In effetti, applicando il teorema di Bayes possiamo riscriverlo come segue:

\frac{P (\hat{ρ} = 0,062 | ρ = 0) \cdot P (ρ = 0)}{P (\hat{ρ} = 0,062 | ρ = 0) \cdot P (ρ = 0) + P (\hat{ρ} = 0,062 | ρ \neq 0) \cdot (1 - P (ρ = 0))} .

$\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)}{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)+P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big) \cdot (1-P(\rho=0))}.$

Quindi per calcolare la probabilità posteriore del null è necessario avere due cose aggiuntive:

Prima che l'ipotesi nulla fosse vera: . $P(\rho=0)$
Presupposto su come viene distribuito se l'ipotesi alternativa è vera. Ciò è necessario per calcolare il $\rho$ termine. $P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)$

Se sei disposto ad assumere che --- anche se personalmente non sono sicuro del motivo per cui questo dovrebbe mai essere un presupposto significativo, --- dovrai comunque assumere la distribuzione di in alternativa. In questo caso, sarai in grado di calcolare qualcosa chiamato fattore Bayes : $P(\rho=0)=0.5$ $\rho$

B = \frac{P (\hat{ρ} = 0,062 | ρ = 0)}{P (\hat{ρ} = 0,062 | ρ \neq 0)} .

$B=\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) }{P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)}.$

Come potete vedere, il fattore di Bayes non non dipende dalla probabilità a priori del nulla, ma non dipende dalla probabilità a priori di (sotto l'alternativa). $\rho$

[Si noti che il nominatore nel fattore Bayes non è il valore p, a causa dell'uguaglianza anziché del segno di disuguaglianza. Quindi, quando calcoliamo il fattore di Bayes o non stiamo affatto usando il valore p stesso . Ma noi siamo ovviamente utilizzando la distribuzione campionaria $P(H_0)$ .] $P(\hat\rho\;|\;\rho=0)$

— ameba
fonte

La domanda riguarda "la probabilità che

sia vero", pensi che i bayesiani lo calcolino? O calcolano la "credibilità" di

essendo vero? Cioè calcolano il loro grado di convinzione che

è vero (dati i dati che osservano) o calcolano la probabilità che

sia vero?

H_{0}

$H_0$

H_{0}

$H_0$

H_{0}

$H_0$

H_{0}

$H_0$

2

Non capisco la distinzione che stai facendo @fcop. Nella visione del mondo bayesiano, la probabilità è il grado di credenza ( ad esempio, vedi qui ).

— amoeba,

Allora perché lo chiamano "credibilità"?

1

Scusate @fcop, non voglio avere una discussione filosofica o semantica qui. L'OP sta chiedendo cosa è necessario per calcolare

e stavo rispondendo a questa specifica domanda dal punto di vista matematico.

P (H_{0})

$P(H_0)$

— amoeba,

@fcop vedi anche stats.stackexchange.com/questions/173056/…

— Tim

7

Quid est veritas?

Posso accettare la risposta di @ amoeba prontamente come il poster originale. Tuttavia, avverto che in tutto il mio lavoro non ho riscontrato un'analisi bayesiana che calcolasse "la probabilità che l'ipotesi nulla sia vera". E una simile conclusione attirerebbe tutta una serie di argomenti da parte di coloro che rivedono il tuo lavoro! Filosoficamente, lo fa $Pr(H_0 | X)$ $1$ $0$

$p$

La critica opposta è stata applicata agli studi bayesiani in cui è possibile applicare liberamente i priori: Dennis Lindley ha detto: "Con la probabilità precedente 0 che la luna sia fatta di formaggio, gli astronauti che ritornano con le braccia piene di formaggio non sono ancora riusciti a convincere".

Le informazioni mancanti per determinare se l'ipotesi nulla è vera sono, banalmente, la conoscenza se l'ipotesi nulla è vera. Ironia della sorte, quando ci concentriamo su statistiche descrittive, possiamo accettare intervalli tollerabili di possibili effetti e concludere in qualche modo con forza che una tendenza è probabilmente vera: ma i test statistici non ci portano a tali risultati. Anche nell'inferenza bayesiana, nessun dato porterà a un posteriore singolare senza avere alcuni problemi metodologici, quindi l'incorporazione di un precedente non risolve questo problema.

— ADAMO
fonte

1

"" Con probabilità precedente 0 che la luna sia fatta di formaggio "ma dato" cogito ergo sum "(e forse nemmeno quello) è tutto ciò che sappiamo per certo, dovremmo dare una probabilità precedente di 0 che la luna sia fatta di formaggio ? 0 e 1 dovrebbero essere riservati a ciò che è logicamente impossibile e certo, e eps e 1-eps per dichiarazioni sul mondo reale. Il quadro bayesiano va bene, a condizione che i tuoi priori rappresentino accuratamente la tua precedente conoscenza del problema (ma che in sé è un problema)

— Dikran Marsupial

1

@DikranMarsupial Il tuo argomento contro tale uso di 0/1 è esattamente ciò che la citazione suggerisce. Ridicola la situazione per spiegare la necessità di ciò che Lindley chiama la regola di Cromwell .

— nwn

1

@watarok grazie per il link / chiarimento, sembra che la menzione nella risposta sia un po 'fuorviante in quanto Lindley non sta effettivamente criticando gli studi bayesiani, ma solo priori eccessivamente sicuri.

— Dikran Marsupial,

@DikranMarsupial Penso che il problema dei priori troppo fiduciosi possa essere applicato a tutte le statistiche bayesiane. Un precedente non informativo porta spesso a inferenze e analisi approssimative del frequentatore comunque. La differenza sta nell'interpretazione: i risultati bayesiani devono coincidere con l'idea di una "verità" o di un "vero parametro". Va bene finché descriviamo attentamente i presupposti e come vengono fissati i tassi di potenza ed errore.

— AdamO,

@watarok il mio insegnante di statistica bayesiana scozzese ha usato quella citazione regolarmente, ma non ne ha mai descritto la rilevanza. Sono grato di saperlo ora.

— AdamO,

6

Ci sono due tentativi di fare esattamente ciò che hai detto nella storia statistica, il bayesiano e il fiduciario. RA Fisher ha fondato due scuole di pensiero statistico, la scuola Likelihoodist costruita attorno al metodo della massima verosimiglianza e la Fiducial, che si è conclusa con un fallimento ma che tenta di fare esattamente quello che vuoi.

La risposta breve al perché fallì è che le sue distribuzioni di probabilità non finirono per integrarsi con l'unità. La lezione, alla fine, è stata che la probabilità precedente è una cosa necessaria per creare ciò che stai cercando di creare. In effetti, stai seguendo il percorso di uno dei più grandi statistici della storia e più di alcuni altri grandi sono morti nella speranza di una soluzione a questo problema. Se fosse trovato, metterebbe i metodi di ipotesi nulla alla pari dei metodi bayesiani in termini di tipi di problemi che potrebbero risolvere. In effetti, spingerebbe oltre Bayes, tranne laddove esistessero informazioni reali reali.

Vuoi anche stare attento con la tua affermazione che un valore p indica una maggiore probabilità per l'alternativa. Questo è vero solo nella scuola di Likelihoodist dei pescatori. Non è affatto vero nella scuola frequentista di Pearson-Neyman. La tua scommessa in basso sembra essere una scommessa di Pearson-Neyman mentre il tuo valore p è incompatibile in quanto proviene dalla scuola dei pescatori.

Per essere caritatevole, suppongo che, per il tuo esempio, non vi siano errori di pubblicazione e quindi solo i risultati significativi compaiono nelle riviste che creano un alto tasso di scoperte false. Lo sto trattando come un campione casuale di tutti gli studi effettuati, indipendentemente dai risultati. Direi che le tue probabilità di scommessa non sarebbero coerenti nel senso classico della parola de Finetti.

Nel mondo di De Finetti, una scommessa è coerente se il bookmaker non può essere giocato dai giocatori in modo che affrontino una perdita certa. Nella costruzione più semplice, è come la soluzione al problema del taglio della torta. Una persona taglia il pezzo a metà, ma l'altra persona sceglie quale pezzo desidera. In questa costruzione, una persona indicherebbe i prezzi delle scommesse su ciascuna ipotesi, ma l'altra persona sceglierebbe di acquistare o vendere la scommessa. In sostanza, potresti vendere allo scoperto il null. Per essere ottimali, le probabilità dovrebbero essere rigorosamente giuste. I valori di P non portano a probabilità eque.

Per illustrare questo, si consideri lo studio di Wetzels, et al su http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf

La citazione per cui è: Ruud Wetzels, Dora Matzke, Michael D. Lee, Jeffrey N. Rounder, Geoffrey J. Iverson ed Eric-Jan Wagenmakers. Prove statistiche in psicologia sperimentale: un confronto empirico con test a 855 t. Prospettive di scienze psicologiche. 6 (3) 291-298. 2011

Questo è un confronto diretto di 855 test t pubblicati utilizzando i fattori di Bayes per aggirare il problema della distribuzione precedente. Nel 70% dei valori di p compresi tra .05 e .01, i fattori di Bayes erano nella migliore delle ipotesi aneddotici. Ciò è dovuto alla forma matematica utilizzata dai frequentisti per risolvere il problema.

I metodi di ipotesi nulla presumono che il modello sia vero e per loro costruzione utilizzano una distribuzione statistica minimax anziché una distribuzione di probabilità. Entrambi questi fattori influiscono sulle differenze tra soluzioni bayesiane e non bayesiane. Considera uno studio in cui il metodo bayesiano valuta la probabilità posteriore di un'ipotesi come tre percento. Immagina che il valore p sia inferiore al cinque percento. Entrambi sono veri poiché il tre percento è inferiore al cinque percento. Tuttavia, il valore p non è una probabilità. Indica solo il valore massimo che potrebbe essere la probabilità di vedere i dati, non la probabilità effettiva che un'ipotesi sia vera o falsa. In effetti, sotto la costruzione del valore p, non è possibile distinguere tra effetti dovuti al caso con un valore nullo reale e un valore nullo falso con dati validi.

Se osservi lo studio Wetzel, noterai che è molto ovvio che le probabilità implicite dai valori p non corrispondono alle probabilità implicite dalla misura bayesiana. Poiché la misura bayesiana è sia ammissibile che coerente e il non bayesiano non è coerente, non è sicuro assumere la mappa dei valori p con le vere probabilità. Il presupposto forzato che il null sia valido fornisce buone probabilità di copertura, ma non produce buone probabilità di gioco.

Per avere una migliore idea del perché, considera il primo assioma di Cox secondo cui la plausibilità di un'ipotesi può essere descritta da un numero reale. Implicitamente, ciò significa che tutte le ipotesi hanno un numero reale legato alla loro plausibilità. Nei metodi di ipotesi null, solo il null ha un numero reale legato alla sua plausibilità. L'ipotesi alternativa non ha fatto misurazioni e non è certamente il complemento alla probabilità di osservare i dati dato che il valore nullo è vero. Infatti, se il valore nullo è vero, allora il complemento è falso per ipotesi senza riguardo ai dati.

Se costruissi le probabilità usando i valori p come base della tua misura, allora il bayesiano usando le misure bayesiane sarebbe sempre in grado di ottenere un vantaggio su di te. Se il bayesiano stabilisse le probabilità, la teoria delle decisioni di Pearson e Neyman fornirebbe una dichiarazione di scommessa o non scommetterebbe, ma non sarebbero in grado di definire l'importo da scommettere. Poiché le probabilità bayesiane erano giuste, il guadagno atteso dall'uso del metodo di Pearson e Neyman sarebbe zero.

In effetti, lo studio Wetzel è proprio quello di cui stai parlando, ma con 145 scommesse in meno. Se guardi la tabella tre, vedrai alcuni studi in cui il frequentista rifiuta il nulla, ma il bayesiano scopre che la probabilità favorisce il nulla.

— Dave Harris
fonte

5

Un'analisi del frequentista non può darti la probabilità che una particolare ipotesi sia vera (o falsa) perché non ha una frequenza di lungo periodo (è vera o no), quindi non possiamo assegnargli una probabilità (tranne forse 0 o 1 ). Se vuoi conoscere la probabilità che una particolare ipotesi sia vera, dobbiamo adottare un quadro bayesiano (dove è semplice, dobbiamo solo considerare le probabilità precedenti ecc.).

I frequentatori possono trovare strategie ottimali per agire su test di ipotesi nulla ( quadro Neyman-Pearson ) ma non possono tradurlo in una probabilità che l'ipotesi sia vera, ma solo a causa della loro definizione di probabilità.

— Dikran Marsupial
fonte

Potresti essere più preciso su '' non puoi tradurlo in una probabilità che l'ipotesi sia vera, ma solo a causa della loro definizione di probabilità '' perché non capisco perché sia così?

I frequentisti definiscono le probabilità in termini di frequenze a lungo termine e la verità di una particolare ipotesi non ha una frequenza (non banale) a lungo termine, quindi un frequentatore non può attribuirle una probabilità. en.wikipedia.org/wiki/Frequentist_probability Questo è il motivo per cui diciamo cose leggermente criptiche come "siamo in grado di respingere l'ipotesi nulla al livello X di significato" piuttosto che "la probabilità che H0 sia falso è p" (che è il forma di risposta che di solito vogliamo).

— Dikran Marsupial,

1

p (H_{0} = t r u e)

$p(H_0=\mathrm{true})$

p (H_{0} = t r u e | D)

$p(H_0=\mathrm{true}|D)$

p (D | H_{0} = t r u e)

$p(D|H_0=\mathrm{true})$

H_{0}

$H_0$

vedi la mia risposta in questo thread, anche per @matus.

@DikranMarsupial un bayesiano non accetterebbe qualcosa come "verità" se la probabilità per un determinato risultato sia 1 e per tutte le altre possibilità sia 0? Puoi mai ottenerlo in un'analisi bayesiana? Avresti bisogno di una probabilità che domini il precedente, ma poi sia i frequenzisti che i bayesiani dovrebbero ammettere: i dati ci hanno detto tutto.

— AdamO,

1

Dopo aver fatto le scommesse per tutti i 1000 studi, un oracolo sale su di te e ti dice quali ipotesi sono corrette. Questa informazione ti consente di regolare le scommesse. La mia affermazione è che esiste una strategia ottimale per questo gioco.

Il problema nella configurazione è Oracle. Di solito non viene a regolare le scommesse. Supponiamo che tu stia scommettendo che la probabilità che sia vero che il fumo causi il cancro è del 97%. Quando verrà questo Oracle a saldare la scommessa? Mai. Allora come dimostreresti che la tua strategia ottimale è ottimale?

Tuttavia, se si rimuove un Oracle e si introducono altri agenti come concorrenti e clienti, ci sarebbe una strategia ottimale. Temo che non si baserà su valori p, però. Sarebbe più simile all'approccio di Gosset con funzioni di perdita. Ad esempio, tu e i tuoi concorrenti nel settore agricolo scommettete sulla previsione del tempo reale. Chi sceglie una strategia migliore farà più soldi. Non è necessario in Oracle e le scommesse sono regolate sui mercati. Non puoi basare la strategia su valori p qui, devi tenere conto di perdite e profitti in dollari.

— Aksakal
fonte

Perché non possiamo semplicemente supporre che un Oracle arriverà a saldare le scommesse immediatamente?

— Atte Juvonen,

Perché non possiamo supporre che, una volta stimata la media del campione, Oracle arrivi e ci dica cosa significa la popolazione? È la stessa cosa, se ci pensi. È semplicemente irrealistico.

— Aksakal,

0

$H_0: \mu_L=1.75$ $H_1: \mu_L \ne 1.75$

$H_0$ $P(H_0=TRUE)$

$H_0$

Per un thread sui valori p, vedere Incomprensione di un valore P?

$H_0$ $H_0$

$H_0:$ $H_1:$

$H_0$ $H_0$

$H_0$ $H_0$ $H_1$

$H_0$ $H_0$ $H_1$ $H_0$

$H_0$ $H_1$

Esprimono semplicemente la loro convinzione nella loro "conclusione del test" derivata da "dati disponibili".