Di recente, ho trovato in un articolo di Klammer, et al. una dichiarazione secondo cui i valori di p dovrebbero essere distribuiti uniformemente. Credo agli autori, ma non riesco a capire perché sia ​​così.

Klammer, AA, Park, CY e Stafford Noble, W. (2009) Calibrazione statistica della funzione SEQUEST XCorr . Journal of Proteome Research . 8 (4): 2106–2113.

Per chiarire un po '. Il valore p è distribuito uniformemente quando l'ipotesi nulla è vera e tutte le altre assunzioni sono soddisfatte. La ragione di ciò è in realtà la definizione di alfa come probabilità di un errore di tipo I. Vogliamo che la probabilità di rifiutare una vera ipotesi nulla sia Alpha, rifiutiamo quando l'osservato , l'unico modo in cui ciò accade per qualsiasi valore di alfa è quando il valore di p proviene da un'uniforme distribuzione. L'intero punto di usare la distribuzione corretta (normale, t, f, chisq, ecc.) È di trasformare dalla statistica del test in un valore p uniforme. Se l'ipotesi nulla è falsa, la distribuzione del valore p sarà (si spera) più ponderata verso 0.$\text{p-value} < \alpha$

Le funzioni Pvalue.norm.sime Pvalue.binom.simnel pacchetto TeachingDemos per R simuleranno diversi set di dati, calcoleranno i valori p e li plotteranno per dimostrare questa idea.

Vedi anche:

Murdoch, D, Tsai, Y e Adcock, J (2008). I valori P sono variabili casuali. The American Statistician , 62 , 242-245.

per qualche dettaglio in più.

Modificare:

Dato che le persone stanno ancora leggendo questa risposta e commentando, ho pensato che avrei affrontato il commento di @ whuber.

È vero che quando si utilizza un'ipotesi nulla composita come i valori p saranno distribuiti uniformemente solo quando i 2 mezzi sono esattamente uguali e non saranno uniformi se è un valore inferiore a . Questo può essere facilmente visto usando la funzione e impostandola per fare un test unilaterale e simulando con la simulazione e ipotizzando mezzi diversi (ma nella direzione per rendere vero il nulla).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

Per quanto riguarda la teoria statistica, questo non ha importanza. Considera se ho affermato di essere più alto di ogni membro della tua famiglia, un modo per testare questa affermazione sarebbe quello di confrontare la mia altezza con l'altezza di ogni membro della tua famiglia uno alla volta. Un'altra opzione sarebbe quella di trovare il membro della tua famiglia più alto e confrontare la loro altezza con la mia. Se sono più alto di quella persona, allora sono anche più alto degli altri e la mia affermazione è vera, se non sono più alta di quella persona, allora la mia affermazione è falsa. Testare un null composito può essere visto come un processo simile, piuttosto che testare tutte le possibili combinazioni in cui possiamo testare solo la parte di uguaglianza perché se possiamo rifiutare quel a favore diμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$allora sappiamo che possiamo anche rifiutare tutte le possibilità di . Se osserviamo la distribuzione di valori p per i casi in cui la distribuzione non sarà perfettamente uniforme ma avrà più valori più vicini a 1 che a 0, il che significa che la probabilità di un errore di tipo I sarà inferiore a il valore selezionato che lo rende un test conservativo. L'uniforme diventa la distribuzione limitante quando si avvicina a$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(le persone che sono più attuali sui termini della teoria delle statistiche potrebbero probabilmente affermarlo meglio in termini di supremum distributivo o qualcosa del genere). Quindi, costruendo il nostro test assumendo la parte uguale del null anche quando il null è composto, allora stiamo progettando il nostro test per avere una probabilità di un errore di tipo I che sia al massimo per qualsiasi condizione in cui il null è vero.$\alpha$

Sotto l'ipotesi nulla, la tua statistica di test ha la distribuzione (ad esempio, standard normale). Mostriamo che il valore p ha una distribuzione di probabilità in altre parole, è distribuito uniformemente. Questo vale finché è invertibile, condizione necessaria per cui non è una variabile casuale discreta.$T$$F(t)$$P=F(T)$

Questo risultato è generale: la distribuzione di un CDF invertibile di una variabile casuale è uniforme su .$[0,1]$

Sia denotare la variabile casuale con la funzione di distribuzione cumulativa per tutte le . Supponendo che sia invertibile possiamo derivare la distribuzione del valore p casuale come segue:$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

da cui possiamo concludere che la distribuzione di è uniforme su .$P$$[0,1]$

Questa risposta è simile a quella di Charlie, ma evita di dover definire .$t = F^{-1}(p)$

Simulazione semplice della distribuzione di valori p in caso di regressione lineare tra due variabili indipendenti:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

Non credo che la maggior parte di queste risposte risponda effettivamente alla domanda in generale. Sono limitati al caso in cui esiste una semplice ipotesi nulla e quando la statistica del test ha un CDF invertibile (come in una variabile casuale continua che ha un CDF strettamente crescente). Questi casi sono i casi a cui la maggior parte delle persone tende a preoccuparsi con z-test e t-test, sebbene per testare una media binomiale (ad esempio) non si abbia un CDF del genere. Ciò che viene fornito sopra mi sembra corretto per questi casi limitati.

Se le ipotesi null sono composte, le cose sono un po 'più complicate. La prova più generale di questo fatto che ho visto nel caso composito usando alcuni presupposti riguardanti le regioni di rifiuto è fornita nelle "Testing Statisitical Hypotheses" di Lehmann e Romano, pagine 63-64. Proverò a riprodurre l'argomento di seguito ...

Ci prova un'ipotesi nulla contro un'ipotesi alternativa sulla base di una statistica test, di cui parleremo indichiamo come la variabile casuale . Si presume che la statistica test provenga da una classe parametrica, ovvero , dove è un elemento della famiglia di distribuzioni di probabilità e è uno spazio di parametri. L'ipotesi nulla e l'ipotesi alternativa formano una partizione di in quella $H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

Il risultato del test può essere indicato con dove per ogni set definiamo Qui è il nostro livello di significatività e indica la regione di rifiuto del test per livello di significatività .

Supponiamo che le regioni di rifiuto soddisfino if . In questo caso di regioni di rifiuto annidate, è utile determinare non solo se l'ipotesi nulla sia rifiutata a un dato livello di significatività , ma anche per determinare il livello di significatività più piccolo per il quale l'ipotesi nulla sarebbe respinta. Questo livello è noto come valore-p , questo numero ci dà un'idea di quanto sono forti i dati (come rappresentato dalla statistica del test ) in contraddizione con l'ipotesi nulla .

Supponiamo che per alcuni e che . Supponiamo inoltre che le regioni di rifiuto obbediscano alla proprietà di annidamento sopra indicata. Quindi vale quanto segue:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Se per tutti , quindi per , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. Se per abbiamo per tutti , allora per abbiamo $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Nota questa prima struttura appena ci dice che la percentuale di falsi positivi è controllata a respingendo quando il valore p è inferiore , e la seconda proprietà ci dice (dato un'ipotesi addizionale) che p-valori sono uniformemente distribuite sotto la nullo ipotesi.$u$$u$

La prova è la seguente:

1. Consenti e assume per tutti . Quindi, per definizione di , abbiamo per tutti . Per monotonia e presupposto, ne consegue che per tutti . Lasciando , ne consegue che .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Consenti e supponi che per tutti . Quindi , e per monotonia segue che . Considerando (1), ne consegue che . $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

Si noti che il presupposto in (2) non vale quando una statistica test è discreta anche se l'ipotesi nulla è semplice piuttosto che composita. Prendi ad esempio con e . Vale a dire, lancia una moneta dieci volte e verifica se è giusto o distorto verso le teste (codificato come 1). La probabilità di vedere 10 teste in 10 lanci di monete equi è (1/2) ^ 10 = 1/1024. La probabilità di vedere 9 o 10 teste in 10 lanci di gettoni equi è 11/1024. Per ogni strettamente compreso tra 1/1024 e 11/1024, rifiuteresti il ​​valore null se , ma non abbiamo che per quei valori di quando$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . Invece per tale . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Se i valori di p sono distribuiti uniformemente sotto H0, ciò significa che è altrettanto probabile vedere un valore di p di 0,05 come valore di p di 0,80, ma ciò non è vero, poiché è meno probabile che osservi un p- valore di .05 rispetto a un valore di p di .80, poiché questa è precisamente la definizione della distribuzione normale da cui viene preso il valore di p. Ci saranno più campioni che rientrano nella gamma della normalità che al di fuori di essa, per definizione. Pertanto, è più probabile trovare valori p più grandi di quelli più piccoli.