Valore P in un test a due code con distribuzione nulla asimmetrica

La mia situazione è la seguente: voglio, attraverso uno studio di Monte-Carlo, confrontare i valori di due diversi test per la significatività statistica di un parametro stimato (null è "nessun effetto - il parametro è zero" e l' alternativa implicita è " il parametro non è zero "). Il test A è il "test t indipendente a due campioni indipendente per l'uguaglianza dei mezzi" , con varianze uguali sotto il valore nullo. $p$

Test B Mi sono costruito da solo. Qui, la distribuzione nulla utilizzata è una distribuzione discreta generica asimmetrica . Ma ho trovato il seguente commento in Rohatgi & Saleh (2001, 2a ed., P. 462)

"Se la distribuzione non è simmetrica, il valore non è ben definito nel caso su due lati, anche se molti autori raccomandano di raddoppiare il valore unilaterale"$p$$p$ .

Gli autori non ne discutono ulteriormente, né commentano il "suggerimento di molti autori" di raddoppiare il valore unilaterale. (Questo crea la domanda "raddoppia il valore di quale lato? E perché questo lato e non l'altro?)$p$$p$

Non sono stato in grado di trovare altri commenti, opinioni o risultati su tutta questa faccenda. Capisco che con una distribuzione asimmetrica sebbene possiamo considerare un intervallo simmetrico attorno all'ipotesi nulla rispetto al valore del parametro, non avremo la seconda simmetria usuale, quella dell'allocazione di massa di probabilità. Ma non capisco perché questo renda il valore "non ben definito". Personalmente, usando un intervallo simmetrico attorno all'ipotesi nulla per i valori dello stimatore non vedo alcuna definizione$p$problema nel dire "la probabilità che la distribuzione nulla produca valori uguali ai limiti o al di fuori di questo intervallo è XX". Il fatto che la massa di probabilità da un lato sia diversa dalla massa di probabilità dall'altro lato, non sembra causare problemi, almeno per i miei scopi. Ma è piuttosto più probabile che non Rohatgi e Saleh sappiano qualcosa che io non conosco.

Quindi questa è la mia domanda: in che senso il value è (o può essere) "non ben definito" nel caso di un test su due lati quando la distribuzione nulla non è simmetrica?$p$

Una nota forse importante: mi avvicino maggiormente alla questione in uno spirito di pescatori, non sto cercando di ottenere una regola decisionale rigorosa nel senso di Neyman-Pearson. Lascio che l'utente del test utilizzi le informazioni -value insieme a qualsiasi altra informazione per fare inferenze.$p$

Se esaminiamo il test esatto 2x2 e lo consideriamo come il nostro approccio, ciò che è "più estremo" potrebbe essere misurato direttamente da una "bassa probabilità". (Agresti [1] menziona una serie di approcci di vari autori per calcolare due valori p a coda solo per questo caso del test esatto Fisher 2x2, di cui questo approccio è uno dei tre specificamente discussi come "i più popolari".)

Per una distribuzione continua (unimodale), trovi semplicemente il punto nell'altra coda con la stessa densità del valore del tuo campione e tutto ciò che ha una probabilità uguale o inferiore nell'altra coda viene conteggiato nel tuo calcolo del valore p.

Per le distribuzioni discrete che sono monotonicamente non aumentanti nelle code, è altrettanto semplice. Conta semplicemente tutto con una probabilità uguale o inferiore rispetto al tuo campione, che alla luce delle ipotesi che ho aggiunto (per adattare il termine "code" all'idea), fornisce un modo per elaborarlo.

Se hai familiarità con gli intervalli HPD (e di nuovo, abbiamo a che fare con l'unimodalità), è fondamentalmente come prendere tutto al di fuori di un intervallo HPD aperto che è limitato in una coda dalla tua statistica di esempio.

[Per ribadire - questa è la probabilità sotto il nulla che stiamo equiparando qui.]

Quindi, almeno nel caso unimodale, sembra abbastanza semplice emulare l'esatto test di Fisher e parlare ancora delle due code.

Tuttavia, potresti non aver intenzione di invocare lo spirito del test esatto di Fisher in questo modo.

Quindi, pensando al di fuori dell'idea di ciò che rende qualcosa "come, o più estremo" per un momento, andiamo solo leggermente più verso la fine delle cose di Neyman-Pearson. Può aiutare (prima del test!) A definire la definizione di una regione di rifiuto per un test condotto a un livello generico (non voglio dire che devi calcolarne letteralmente uno, proprio come lo calcoleresti). Non appena lo fai, il modo di calcolare due valori di coda per il tuo caso dovrebbe diventare ovvio.$\alpha$

Questo approccio può essere prezioso anche se si sta conducendo un test al di fuori del normale test del rapporto di verosimiglianza. Per alcune applicazioni, può essere difficile capire come calcolare i valori p nei test di permutazione asimmetrica ... ma spesso diventa sostanzialmente più semplice se si pensa prima a una regola di rifiuto.

Con i test F di varianza, ho notato che il "valore p della doppia coda" può dare valori p abbastanza diversi a quello che vedo come il giusto approccio. [Non dovrebbe importare quale gruppo chiami "campione 1" o se inserisci la varianza maggiore o minore nel numeratore.]

[1]: Agresti, A. (1992),
A Survey of Exact Inference for Contingency Tables
Statistical Science , Vol. 7 , n. 1. (febbraio), pagg. 131-153.

Un valore p è ben definito quando si crea una statistica di test che suddivide lo spazio campione e ordina le partizioni in base alle proprie nozioni di crescente discrepanza con l'ipotesi nulla. (O, equivalentemente, una volta creato un insieme di regioni di rifiuto nidificate di dimensioni decrescenti.) Quindi ciò che R. e S. stanno ottenendo è che se consideri i valori alti o bassi di una statistica essere interessante in contrasto con il tuo null ipotesi che hai ancora un po 'di lavoro da fare per ottenere una statistica test corretta da esso. Quando ha una distribuzione simmetrica attorno a nulla, sembrano saltare asenza pensarci troppo, e quindi considerare il caso asimmetrico come presentare un puzzle.T S T = | S $S$$T$$S$$T=|S|$

S 2 $t=\min(\Pr_{H_0}(S<s),\Pr_{H_0}(S>s))$$S$$2t$

Quando ha una distribuzione continua, l'approccio alla formazione di un test a due code mostrato da @ Glen_b — che definisce la densità di come statistica del test: —correrà naturalmente valori p validi; ma non sono sicuro che sia mai stato raccomandato da Fisher o che sia attualmente raccomandato dai neo-pescatori. Se a prima vista sembra in qualche modo più di principio che raddoppiare il valore p a una coda, si noti che dover trattare con la densità di probabilità piuttosto che la massa significa che il valore p a due code così calcolato può cambiare quando la statistica test è trasformato da una funzione di conservazione dell'ordine. Ad esempio, se per verificare il nulla che una media gaussiana è uguale a nulla, si prende una singola osservazione e si ottiene$S$$S$$T=f_S(S)$$X$$1.66$, il valore con uguale densità all'altra coda è e il valore quindiMa se lo consideri testando il nulla che una media geometrica log-gaussiana è uguale a una e prendi una singola osservazione e ottieni , il valore con uguale densità sull'altra coda è ( ), quindi il valore quindi$-1.66$

$$p=\Pr(X > 1.66) +\Pr(X<-1.66)=0.048457+0.048457=0.09691.$$ $Y$$\mathrm{e}^{1.66}=5.2593$$0.025732$$=\mathrm{e}^{-3.66}$ $$p=\Pr(Y>5.2593) +\Pr(Y<0.025732)=0.048457+0.00012611=0.04858.$$

Si noti che le funzioni di distribuzione cumulativa sono invarianti rispetto alle trasformazioni che preservano l'ordine, quindi nell'esempio sopra il raddoppio del valore p più basso dà

$$\begin{align}p=2t&=2\min(\Pr(X<1.66),\Pr(X>1.66))\\&=2\min(\Pr(Y<5.2593),\Pr(Y>5.2593))\\&=2\min(0.048457,0.951543)\\&=2\times 0.048457=0.09691.\end{align}$$

Una specie di sequel di questa risposta, che discute alcuni principi di costruzione del test in cui è esplicitamente dichiarata l'ipotesi alternativa, può essere trovata qui .

† Quando ha una distribuzione discreta, scrivere$S$

$$p_\mathrm{L} = \Pr_{H_0}(S\leq s)$$ $$p_\mathrm{U} = \Pr_{H_0}(S\geq s)$$

per i valori p inferiori e superiori a una coda, il valore p a due code è dato da

$$\Pr(T\leq t) = \begin{cases} p_\mathrm{L} + \Pr_{H_0}(P_\mathrm{U} \leq p_\mathrm{L}) & \text{when}\ p_\mathrm{L} \leq p_\mathrm{U}\\ p_\mathrm{U} + \Pr_{H_0}(P_\mathrm{L} \leq p_\mathrm{U}) & \text{otherwise} \end{cases}$$

; cioè aggiungendo al valore p una-coda più piccolo il valore p più grande ottenibile nell'altra coda che non lo supera. Si noti che è ancora un limite superiore.$2t$