Intervallo di confidenza e incertezza del valore P per il test di permutazione

Sto imparando i test di randomizzazione in questo momento. Mi vengono in mente due domande:

1. Sì, è facile e intuitivo come viene calcolato il valore p con il test di randomizzazione (che ritengo sia lo stesso del test di permutazione?). Tuttavia, come possiamo generare anche un intervallo di confidenza del 95% come facciamo con i normali test parametrici?

2. Mentre sto leggendo un documento dell'Università di Washington sui test di permutazione , c'è una frase a pagina 13 che dice:

   Con 1000 permutazioni ...., l'incertezza vicino a p = 0,05 è circa .$\pm 1\%$

   Mi chiedo come possiamo ottenere questa incertezza.

Tuttavia, come possiamo generare anche un intervallo di confidenza del 95% come facciamo con i normali test parametrici?

Ecco un modo in cui potresti generare un intervallo da un test di ricampionamento, anche se non è sempre appropriato considerarlo un intervallo di confidenza . Per un esempio specifico, fare un test per una differenza di due campioni nelle medie. Considera di spostare il secondo campione di (che può essere positivo o negativo). Quindi l'insieme di valori che porterebbe al non rifiuto da parte del test a livello potrebbe essere utilizzato come intervallo di confidenza nominale per la differenza nelle medie.$^\dagger$$\delta$$\delta$$\alpha$$1-\alpha$

$\dagger$ Alcuni autori (es. [1], p364 e seguenti , [2]) chiamano un intervallo costruito in questo modo (valori dei parametri non rifiutati dal test) un intervallo di consonanza - che è un nome migliore dell'intervallo di confidenza per esso (sebbene molte persone semplicemente ignorano la differenza; per esempio, credo che Cox e Hinkley chiamino questi intervalli di confidenza) perché l'approccio non fornisce necessariamente intervalli che hanno la copertura desiderata (in molte situazioni è possibile vedere che dovrebbe); il nome trasmette qualcosa su ciò che l'intervallo ti dice (un intervallo di valori coerenti con i dati).

Gelman include una discussione sul perché a volte può essere problematico considerarli universalmente qui intervalli di confidenza .

Tuttavia, non è difficile esplorare la copertura in determinate serie di ipotesi (tramite simulazione) e non mancano le persone che chiamano gli intervalli bootstrap "intervalli di confidenza" (anche quando a volte si vede che non hanno nulla di simile alla copertura dichiarata).

Maggiori dettagli su come farlo nei due casi di differenza nei mezzi di esempio sono discussi in [3], dove vengono chiamati intervalli di confidenza della randomizzazione e viene fatta una richiesta in merito a quando sono esatti (che sostengono che non ho " ho provato a valutare).

Con 1000 permutazioni ...., l'incertezza vicino a p = 0,05 è di circa ± 1%.

Mi chiedo come possiamo ottenere questa incertezza?

Il valore p stimato è una proporzione binomiale diretta. Quindi ha lo stesso errore standard di qualsiasi altra proporzione binomiale, .$\sqrt{\frac{p(1-p)}{n}}$

Quindi se e , l'errore standard della proporzione osservata è di circa . Un IC sarebbe [In alternativa, è circa errori standard per lato, che corrisponderebbe a un intervallo di confidenza per il valore p sottostante di un bit superiore a ]$p = 0.05$$n=1000$$0.0069$$90\%$$\pm 1.13\%$$\pm 1\%$$1.45$$85\%$

Quindi almeno in un certo senso potresti parlare dell'incertezza "circa l'1%"

-

[1] Kempthorne and Folks (1971),
Probabilità, statistica e analisi dei dati ,
Iowa State University Press

[2] LaMotte LR e Volaufová J, (1999),
"Intervalli di predizione tramite intervalli di consonanza",
Journal of the Royal Statistical Society. Serie D (The Statistician) , vol. 48, n. 3, pagg. 419-424

[3] Ernst, MD (2004),
"Metodi di permutazione: una base per l'inferenza esatta", Statistical Science , Vol. 19, n. 4, 676–685