Perché i valori di p sono distribuiti uniformemente sotto l'ipotesi nulla?


115

Di recente, ho trovato in un articolo di Klammer, et al. una dichiarazione secondo cui i valori di p dovrebbero essere distribuiti uniformemente. Credo agli autori, ma non riesco a capire perché sia ​​così.

Klammer, AA, Park, CY e Stafford Noble, W. (2009) Calibrazione statistica della funzione SEQUEST XCorr . Journal of Proteome Research . 8 (4): 2106–2113.


24
Ciò è immediato dalla definizione del valore p come trasformata integrale di probabilità della statistica test utilizzando la distribuzione sotto l'ipotesi nulla. La conclusione richiede che la distribuzione sia continua. Quando la distribuzione è discreta (o ha atomi), anche la distribuzione dei valori p è discreta, e quindi può essere solo approssimativamente uniforme.
whuber

1
@whuber ha dato la risposta che era qualcosa che sospettavo. Ho chiesto il riferimento originale solo per essere sicuro che qualcosa non fosse perso nella traduzione. Di solito non importa se l'articolo è specifico o meno, il contenuto statistico viene sempre mostrato attraverso :)
mpiktas,

10
Solo quando è veroH0 ! ... e più rigorosamente, solo quando continuo (anche se qualcosa di simile è vero nel caso non continuo; non conosco la parola giusta per il caso più generale; non è uniformità). Quindi deriva dalla definizione di p-value.
Glen_b

2
Questo potrebbe essere visto come una variante del principio fondamentale della meccanica statistica (che gli studenti hanno spesso difficoltà ad accettare) che tutti i micro-stati di un sistema fisico hanno pari probabilità.
DWin,

5
Che ne dici del reclamo in questo articolo: plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0076010 ?

Risposte:


83

Per chiarire un po '. Il valore p è distribuito uniformemente quando l'ipotesi nulla è vera e tutte le altre assunzioni sono soddisfatte. La ragione di ciò è in realtà la definizione di alfa come probabilità di un errore di tipo I. Vogliamo che la probabilità di rifiutare una vera ipotesi nulla sia Alpha, rifiutiamo quando l'osservato , l'unico modo in cui ciò accade per qualsiasi valore di alfa è quando il valore di p proviene da un'uniforme distribuzione. L'intero punto di usare la distribuzione corretta (normale, t, f, chisq, ecc.) È di trasformare dalla statistica del test in un valore p uniforme. Se l'ipotesi nulla è falsa, la distribuzione del valore p sarà (si spera) più ponderata verso 0.p-value<α

Le funzioni Pvalue.norm.sime Pvalue.binom.simnel pacchetto TeachingDemos per R simuleranno diversi set di dati, calcoleranno i valori p e li plotteranno per dimostrare questa idea.

Vedi anche:

Murdoch, D, Tsai, Y e Adcock, J (2008). I valori P sono variabili casuali. The American Statistician , 62 , 242-245.

per qualche dettaglio in più.

Modificare:

Dato che le persone stanno ancora leggendo questa risposta e commentando, ho pensato che avrei affrontato il commento di @ whuber.

È vero che quando si utilizza un'ipotesi nulla composita come i valori p saranno distribuiti uniformemente solo quando i 2 mezzi sono esattamente uguali e non saranno uniformi se è un valore inferiore a . Questo può essere facilmente visto usando la funzione e impostandola per fare un test unilaterale e simulando con la simulazione e ipotizzando mezzi diversi (ma nella direzione per rendere vero il nulla).μ 1 μ 2μ1μ2μ1μ2Pvalue.norm.sim

Per quanto riguarda la teoria statistica, questo non ha importanza. Considera se ho affermato di essere più alto di ogni membro della tua famiglia, un modo per testare questa affermazione sarebbe quello di confrontare la mia altezza con l'altezza di ogni membro della tua famiglia uno alla volta. Un'altra opzione sarebbe quella di trovare il membro della tua famiglia più alto e confrontare la loro altezza con la mia. Se sono più alto di quella persona, allora sono anche più alto degli altri e la mia affermazione è vera, se non sono più alta di quella persona, allora la mia affermazione è falsa. Testare un null composito può essere visto come un processo simile, piuttosto che testare tutte le possibili combinazioni in cui possiamo testare solo la parte di uguaglianza perché se possiamo rifiutare quel a favore diμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2 αμ1μ2μ1=μ2μ1>μ2allora sappiamo che possiamo anche rifiutare tutte le possibilità di . Se osserviamo la distribuzione di valori p per i casi in cui la distribuzione non sarà perfettamente uniforme ma avrà più valori più vicini a 1 che a 0, il che significa che la probabilità di un errore di tipo I sarà inferiore a il valore selezionato che lo rende un test conservativo. L'uniforme diventa la distribuzione limitante quando si avvicina aμ1<μ2μ1<μ2αμ1μ2(le persone che sono più attuali sui termini della teoria delle statistiche potrebbero probabilmente affermarlo meglio in termini di supremum distributivo o qualcosa del genere). Quindi, costruendo il nostro test assumendo la parte uguale del null anche quando il null è composto, allora stiamo progettando il nostro test per avere una probabilità di un errore di tipo I che sia al massimo per qualsiasi condizione in cui il null è vero.α


Ci scusiamo per il refuso che ho introdotto (dovrebbe leggere \leqin TeX)!
chl

1
L'articolo "I valori P sono variabili casuali" è davvero interessante, c'è qualche libro introduttivo che aderisce ai principi enunciati nell'articolo?
Alessandro Jacopson,

8
Nonostante il commento che ho postato alla domanda, da allora mi sono reso conto che la conclusione non è vera se non in casi speciali. Il problema si verifica con ipotesi composite, come . "L'ipotesi nulla è vera" ora copre molte possibilità, come il caso . In tal caso, i valori p non saranno distribuiti uniformemente. Sospetto che si possano produrre situazioni (alquanto artificiali) in cui, indipendentemente dall'elemento dell'ipotesi nulla, la distribuzione dei valori di p non sarebbe mai vicina all'uniforme. μ 1 = μ 2 - 10 6μ1μ2μ1=μ2106
whuber

1
@Greg Snow: penso che la distribuzione dei valori p non sia sempre uniforme, è uniforme quando sono calcolati da una distribuzione continua, ma non quando sono calcolati da una distribuzione discreta

1
Ho ampliato la risposta sopra per rispondere al commento di @whuber.
Greg Snow,

26

Sotto l'ipotesi nulla, la tua statistica di test ha la distribuzione (ad esempio, standard normale). Mostriamo che il valore p ha una distribuzione di probabilità in altre parole, è distribuito uniformemente. Questo vale finché è invertibile, condizione necessaria per cui non è una variabile casuale discreta.TF(t)P=F(T)

Pr(P<p)=Pr(F1(P)<F1(p))=Pr(T<t)p;
PF()T

Questo risultato è generale: la distribuzione di un CDF invertibile di una variabile casuale è uniforme su .[0,1]


8
potresti voler riformulare il tuo ultimo commento, il che è un po 'confuso. I CDF continui non hanno necessariamente un (corretto) inverso. (Riesci a pensare a un controesempio?) Quindi la tua prova richiede condizioni aggiuntive per essere accettata. Il modo standard per aggirare il problema è definire la pseudoinversa . Anche l'argomento diventa più sottile. F(y)=inf{x:F(x)y}
cardinale

1
Per quanto riguarda il lavoro con inversioni generalizzate, consultare link.springer.com/article/10.1007%2Fs00186-013-0436-7 (in particolare, F (T) è uniforme solo se F è continua - non importa se F è invertibile o non). Per quanto riguarda la definizione di un valore p: non penso che sia sempre "F (T)". È la probabilità (sotto il nulla) di assumere un valore più estremo di quello osservato, quindi potrebbe anche essere la funzione di sopravvivenza (solo per essere precisi qui).
Marius Hofert,

Non è il CDF? F(t)
zyxue,

@zyxue Sì, il cdf viene talvolta definito "distribuzione".
mikario,

6

Sia denotare la variabile casuale con la funzione di distribuzione cumulativa per tutte le . Supponendo che sia invertibile possiamo derivare la distribuzione del valore p casuale come segue:TF(t)Pr(T<t)tFP=F(T)

Pr(P<p)=Pr(F(T)<p)=Pr(T<F1(p))=F(F1(p))=p,

da cui possiamo concludere che la distribuzione di è uniforme su .P[0,1]

Questa risposta è simile a quella di Charlie, ma evita di dover definire .t=F1(p)


Come hai definito F, P = F (T) = Pr (T <T) = 0?
TrynnaDoStat,

Non esattamente, la "sostituzione sintattica" di è in qualche modo fuorviante. Formalmente parlando, è la variabile casuale definita daF(T)=Pr(T<T)F(T)(F(T))(ω)=F(T(ω)):=Pr(T<T(ω))
jII

4

Simulazione semplice della distribuzione di valori p in caso di regressione lineare tra due variabili indipendenti:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

7
Potresti approfondire come questo risponde alla domanda? Anche se il suo output illustra un caso speciale dell'asserzione, nessuna quantità di codice sarebbe in grado di rispondere alla domanda sul perché ? Ciò richiede ulteriori spiegazioni.
whuber

-1

Non credo che la maggior parte di queste risposte risponda effettivamente alla domanda in generale. Sono limitati al caso in cui esiste una semplice ipotesi nulla e quando la statistica del test ha un CDF invertibile (come in una variabile casuale continua che ha un CDF strettamente crescente). Questi casi sono i casi a cui la maggior parte delle persone tende a preoccuparsi con z-test e t-test, sebbene per testare una media binomiale (ad esempio) non si abbia un CDF del genere. Ciò che viene fornito sopra mi sembra corretto per questi casi limitati.

Se le ipotesi null sono composte, le cose sono un po 'più complicate. La prova più generale di questo fatto che ho visto nel caso composito usando alcuni presupposti riguardanti le regioni di rifiuto è fornita nelle "Testing Statisitical Hypotheses" di Lehmann e Romano, pagine 63-64. Proverò a riprodurre l'argomento di seguito ...

Ci prova un'ipotesi nulla contro un'ipotesi alternativa sulla base di una statistica test, di cui parleremo indichiamo come la variabile casuale . Si presume che la statistica test provenga da una classe parametrica, ovvero , dove è un elemento della famiglia di distribuzioni di probabilità e è uno spazio di parametri. L'ipotesi nulla e l'ipotesi alternativa formano una partizione di in quella H0H1XXPθPθP{PθθΘ}ΘH0:θΘ0H1:θΘ1Θ

Θ=Θ0Θ1
dove
Θ0Θ1=.

Il risultato del test può essere indicato con dove per ogni set definiamo Qui è il nostro livello di significatività e indica la regione di rifiuto del test per livello di significatività .

ϕα(X)=1Rα(X)
S
1S(X)={1,XS,0,XS.
αRαα

Supponiamo che le regioni di rifiuto soddisfino if . In questo caso di regioni di rifiuto annidate, è utile determinare non solo se l'ipotesi nulla sia rifiutata a un dato livello di significatività , ma anche per determinare il livello di significatività più piccolo per il quale l'ipotesi nulla sarebbe respinta. Questo livello è noto come valore-p , questo numero ci dà un'idea di quanto sono forti i dati (come rappresentato dalla statistica del test ) in contraddizione con l'ipotesi nulla .

RαRα
α<αα
p^=p^(X)inf{αXRα},
XH0

Supponiamo che per alcuni e che . Supponiamo inoltre che le regioni di rifiuto obbediscano alla proprietà di annidamento sopra indicata. Quindi vale quanto segue:XPθθΘH0:θΘ0Rα

  1. Se per tutti , quindi per , supθΘ0Pθ(XRα)α0<α<1θΘ0

    Pθ(p^u)ufor all0u1.

  2. Se per abbiamo per tutti , allora per abbiamo θΘ0Pθ(XRα)=α0<α<1θΘ0

    Pθ(p^u)=ufor all0u1.

Nota questa prima struttura appena ci dice che la percentuale di falsi positivi è controllata a respingendo quando il valore p è inferiore , e la seconda proprietà ci dice (dato un'ipotesi addizionale) che p-valori sono uniformemente distribuite sotto la nullo ipotesi.uu

La prova è la seguente:

  1. Consenti e assume per tutti . Quindi, per definizione di , abbiamo per tutti . Per monotonia e presupposto, ne consegue che per tutti . Lasciando , ne consegue che .θΘ0supθΘ0Pθ(XRα)α0<α<1p^{p^u}{XRv}u<vPθ(p^u)Pθ(XRv)vu<vvuPθ(p^u)u

  2. Consenti e supponi che per tutti . Quindi , e per monotonia segue che . Considerando (1), ne consegue che . θΘ0Pθ(XRα)=α0<α<1{XRu}{p^(X)u}u=Pθ(XRu)Pθ(p^u)Pθ(p^(X)u)=u

Si noti che il presupposto in (2) non vale quando una statistica test è discreta anche se l'ipotesi nulla è semplice piuttosto che composita. Prendi ad esempio con e . Vale a dire, lancia una moneta dieci volte e verifica se è giusto o distorto verso le teste (codificato come 1). La probabilità di vedere 10 teste in 10 lanci di monete equi è (1/2) ^ 10 = 1/1024. La probabilità di vedere 9 o 10 teste in 10 lanci di gettoni equi è 11/1024. Per ogni strettamente compreso tra 1/1024 e 11/1024, rifiuteresti il ​​valore null se , ma non abbiamo che per quei valori di quandoXBinom(10,θ)H0:θ=.5H1:θ>0.5αX=10Pr(XRα)=ααθ=0.5 . Invece per tale . Pr(XRα)=1/1024α


Dovrebbe chiarire che la generalità fornita in Lehmann e Romano è per le regioni di rifiuto generale. Hai ancora valori p "validi" solo per valori nulli compositi e statistiche di test non continue.
Adam,

-12

Se i valori di p sono distribuiti uniformemente sotto H0, ciò significa che è altrettanto probabile vedere un valore di p di 0,05 come valore di p di 0,80, ma ciò non è vero, poiché è meno probabile che osservi un p- valore di .05 rispetto a un valore di p di .80, poiché questa è precisamente la definizione della distribuzione normale da cui viene preso il valore di p. Ci saranno più campioni che rientrano nella gamma della normalità che al di fuori di essa, per definizione. Pertanto, è più probabile trovare valori p più grandi di quelli più piccoli.


3
-1. Questo è completamente sbagliato. Mi chiedo chi abbia votato a favore. I valori P di cui al punto H0 sono distribuiti uniformemente.
ameba,

1
-1. Questo non ha nemmeno abbastanza senso per essere definito sbagliato: "range di normalità" è insignificante e i valori p intrinsecamente non hanno nulla a che fare con le distribuzioni normali in primo luogo.
whuber
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.