Comprensione del valore p

So che ci sono molti materiali che spiegano il valore p. Tuttavia, il concetto non è facile da comprendere saldamente senza ulteriori chiarimenti.

Ecco la definizione di p-value da Wikipedia:

Il valore p è la probabilità di ottenere una statistica test almeno estrema quanto quella effettivamente osservata, supponendo che l'ipotesi nulla sia vera. ( http://en.wikipedia.org/wiki/P-value )

La mia prima domanda riguarda l'espressione "almeno estrema come quella che è stata effettivamente osservata". La mia comprensione della logica alla base dell'uso del valore p è la seguente: se il valore p è piccolo, è improbabile che l'osservazione si sia verificata assumendo l'ipotesi nulla e potremmo aver bisogno di un'ipotesi alternativa per spiegare l'osservazione. Se il valore p non è così piccolo, è probabile che l'osservazione si sia verificata solo assumendo l'ipotesi nulla e l'ipotesi alternativa non è necessaria per spiegare l'osservazione. Quindi, se qualcuno vuole insistere su un'ipotesi, deve dimostrare che il valore p dell'ipotesi nulla è molto piccolo. Con questa visione in mente, la mia comprensione dell'espressione ambigua è che il valore p è$\min[P(X<x),P(x<X)]$, se il PDF della statistica è unimodale, dove $X$ è la statistica del test e $x$ è il suo valore ottenuto dall'osservazione. È giusto? Se è giusto, è ancora applicabile usare il PDF bimodale della statistica? Se due picchi del PDF sono separati bene e il valore osservato si trova da qualche parte nella regione a bassa densità di probabilità tra i due picchi, quale intervallo dà il valore p?

La seconda domanda riguarda un'altra definizione di valore p da Wolfram MathWorld:

La probabilità che una variabile assuma per caso un valore maggiore o uguale al valore osservato. ( http://mathworld.wolfram.com/P-Value.html )

Ho capito che la frase "rigorosamente per caso" dovrebbe essere interpretata come "assumendo un'ipotesi nulla". È giusto?

La terza domanda riguarda l'uso di "ipotesi nulla". Supponiamo che qualcuno voglia insistere sul fatto che una moneta sia giusta. Esprime l'ipotesi in quanto la frequenza relativa delle teste è 0,5. Quindi l'ipotesi nulla è "la frequenza relativa delle teste non è 0,5". In questo caso, mentre il calcolo del valore p dell'ipotesi nulla è difficile, il calcolo è facile per l'ipotesi alternativa. Naturalmente il problema può essere risolto scambiando il ruolo delle due ipotesi. La mia domanda è che il rifiuto o l'accettazione basati direttamente sul valore p dell'ipotesi alternativa originale (senza introdurre l'ipotesi nulla) è se va bene o no. Se non è OK, qual è la solita soluzione per tali difficoltà nel calcolo del valore p di un'ipotesi nulla?

Ho pubblicato una nuova domanda che è più chiarita in base alla discussione in questo thread.

Prima risposta

Devi pensare al concetto di estremo in termini di probabilità delle statistiche dei test, non in termini di valore o valore della variabile casuale da testare. Riporto il seguente esempio da Christensen, R. (2005). Test di Fisher, Neyman, Pearson e Bayes . The American Statistician , 59 (2), 121-126

Ecco le osservazioni, la seconda riga è la probabilità di osservare una data osservazione sotto l'ipotesi nulla , che qui viene utilizzata come statistica di test, la terza riga è il valore . Siamo qui nel quadro del test Fisherian: esiste un'ipotesi ( , in questo caso ) in base alla quale vogliamo vedere se i dati sono strani o no. Le osservazioni con la minima probabilità sono 2 e 3 con 0,5% ciascuna. Se ottieni 2, ad esempio, la probabilità di osservare qualcosa come probabile o meno probabile ( e ) è dell'1%. L'osservazione non contribuisce alθ = 0 p H 0 θ = 0 r = 2 r = 3 r = 4 $r$$\theta=0$$p$$H_0$$\theta=0$$r=2$$r=3$$r=4$$p$ valore, anche se è più lontano (se esiste una relazione d'ordine), perché ha una maggiore probabilità di essere osservato.

Questa definizione funziona in generale, poiché ospita variabili sia categoriche che multidimensionali, dove non è definita una relazione d'ordine. Nel caso di una variabile quantitativa inglese, in cui si osservano alcune distorsioni dal risultato più probabile, potrebbe avere senso calcolare il valore coda singola e considerare solo le osservazioni che si trovano su un lato della distribuzione delle statistiche del test.$p$

Seconda risposta

Non sono completamente d'accordo con questa definizione di Mathworld.

Terza risposta

Devo dire che non sono completamente sicuro di aver capito la tua domanda, ma cercherò di fare alcune osservazioni che potrebbero aiutarti.

Nel contesto più semplice dei test dei pescatori, in cui si ha solo l'ipotesi nulla, questo dovrebbe essere lo status quo . Questo perché i test dei pescatori funzionano essenzialmente per contraddizione. Quindi, nel caso della moneta, a meno che tu non abbia motivi per pensare diversamente, assumeresti che sia giusto, . Quindi si calcola il valore p per i dati in H 0 e, se il valore p è inferiore a una soglia predefinita, si rifiuta l'ipotesi (prova per contraddizione). Non si calcola mai la probabilità dell'ipotesi nulla.$H_0: \theta=0.5$$p$$H_0$$p$

Con i test Neyman-Pearson si specificano due ipotesi alternative e, in base alla loro probabilità relativa e alla dimensionalità dei vettori dei parametri, si favorisce l'uno o l'altro. Questo può essere visto, ad esempio, nel testare l'ipotesi di monete distorte rispetto a quelle imparziali. Non polarizzato significa fissare il parametro su (la dimensionalità di questo spazio parametri è zero), mentre la polarizzazione può essere qualsiasi valore θ ≠ 0,5 (dimensionalità uguale a uno). Ciò risolve il problema di provare a contraddire l'ipotesi di distorsione con contraddizione, che sarebbe impossibile, come spiegato da un altro utente. Fisher e NP danno risultati simili quando il campione è grande, ma non sono esattamente equivalenti. Di seguito un semplice codice in R per una moneta distorta.$\theta=0.5$$\theta \neq 0.5$

n <- 100  # trials
p_bias <- 0.45  # the coin is biased
k <- as.integer(p_bias * n)  # successes

# value obtained by plugging in the MLE of p, i.e. k/n = p_bias
lambda <- 2 * n * log(2) + 2 * k * log(p_bias) + 2 * (n-k) * log(1. - p_bias)

p_value_F <- 2 * pbinom(k, size=n, prob=0.5)  # p-value under Fisher test
p_value_NP <- 1 - pchisq(q=lambda, df=1)  # p-value under Neyman-Pearson
binom.test(c(k, n-k))  # equivalent to Fisher

$t$$T$$\newcommand{\pr}{\mathrm{Pr}} \pr\left(T\geq t\right)$$H_0$$\pr(|Z|\geq |z|)$$2\min [\pr(Z\geq z),\pr(Z\leq z)]$ perché abbiamo le tabelle appropriate. (Nota il raddoppio.)

Non è necessario per la statistica test mettere i campioni in ordine di probabilità sotto l'ipotesi nulla. Ci sono situazioni (come l'esempio di Zag) in cui qualsiasi altro modo sembrerebbe perverso (senza ulteriori informazioni su quali misure , quali tipi di discrepanze con sono di maggiore interesse, ecc.), Ma spesso vengono utilizzati altri criteri. Quindi potresti avere un PDF bimodale per la statistica test e ancora testare usando la formula sopra.$r$$H_0$$H_0$

(2) Sì, significano sotto .$H_0$

(3) Un'ipotesi nulla come "La frequenza delle teste non è 0,5" è inutile perché non si sarebbe mai in grado di respingerla. È un valore composito nullo che include "la frequenza delle teste è 0,49999999", o quanto più ti piace. Che tu pensi in anticipo alla moneta o meno, scegli un'utile ipotesi nulla che attenga al problema. Forse più utile dopo l'esperimento è calcolare un intervallo di confidenza per la frequenza delle teste che ti mostra che non è chiaramente una moneta giusta, o è abbastanza vicino da essere giusto, oppure devi fare più prove per scoprirlo.

Un'illustrazione per (1):

Supponiamo di provare la correttezza di una moneta con 10 lanci. Ci sono risultati possibili. Eccone tre:$2^{10}$

$\mathsf{HHHHHHHHHH}\\ \mathsf{HTHTHTHTHT}\\ \mathsf{HHTHHHTTTH}$

Probabilmente sarai d'accordo con me sul fatto che i primi due sembrano un po 'sospetti. Tuttavia le probabilità sotto il null sono uguali:

$\mathrm{Pr}(\mathsf{HHHHHHHHHH}) = \frac{1}{1024}\\ \mathrm{Pr}(\mathsf{HTHTHTHTHT}) = \frac{1}{1024}\\ \mathrm{Pr}(\mathsf{HHTHHHTTTH}) = \frac{1}{1024}$

Per arrivare ovunque è necessario considerare quali tipi di alternativa al null che si desidera verificare. Se sei pronto ad assumere l'indipendenza di ogni lancio sia in null sia in alternativa (e in situazioni reali questo spesso significa lavorare molto duramente per garantire che le prove sperimentali siano indipendenti), puoi usare il conteggio totale dei capi come statistica di prova senza perdere informazioni . (Partizionare lo spazio campione in questo modo è un altro lavoro importante che fanno le statistiche.)

Quindi hai un conteggio tra 0 e 10

t<-c(0:10)

La sua distribuzione sotto il null è

p.null<-dbinom(t,10,0.5)

Sotto la versione dell'alternativa che meglio si adatta ai dati, se vedi (diciamo) 3 su 10 capi la probabilità di capi è , quindi$\frac{3}{10}$

p.alt<-dbinom(t,10,t/10)

Prendi il rapporto della probabilità sotto il nullo alla probabilità sotto l'alternativa (chiamato rapporto di verosimiglianza):

lr<-p.alt/p.null

Paragonare con

plot(log(lr),p.null)

Quindi per questo null, le due statistiche ordinano i campioni allo stesso modo. Se si ripete con un valore nullo di 0,85 (ovvero test che la frequenza a lungo termine delle testine è dell'85%), non lo fanno.

p.null<-dbinom(t,10,0.85)
plot(log(lr),p.null)

Per vedere il perché

plot(t,p.alt)

Alcuni valori di sono meno probabili in alternativa, e la statistica del test del rapporto di verosimiglianza ne tiene conto. NB questa statistica test non sarà estrema per$t$

$\mathsf{HTHTHTHTHT}$

E va bene - ogni campione può essere considerato estremo da un certo punto di vista. Scegli la statistica del test in base al tipo di discrepanza rispetto al valore nullo che desideri essere in grado di rilevare.

... Continuando questo treno di pensieri, puoi definire una statistica che suddivide lo spazio campione in modo diverso per testare lo stesso null contro l'alternativa che un lancio di moneta influenza il successivo. Chiama il numero di esecuzioni , in modo che$r$

$\mathsf{HHTHHHTTTH}$

ha :$r=6$

$\mathsf{HH}\ \mathsf{T}\ \mathsf{HHH}\ \mathsf{TTT}\ \mathsf{H}$

La sequenza sospetta

$\mathsf{HTHTHTHTHT}$

ha . Così fa$r=10$

$\mathsf{THTHTHTHTH}$

mentre all'altro estremo

$\mathsf{HHHHHHHHHH}\\ \mathsf{TTTTTTTTTT}$

avere . Usando la probabilità sotto il nullo come statistica test (il modo in cui ti piace) puoi dire che il valore p del campione$r=1$

$\mathsf{HTHTHTHTHT}$

$\frac{4}{1024}=\frac{1}{256}$