Controllo di integrità: quanto può andare basso un valore p?

Sto usando un test ranksum per confrontare la media di due campioni ( ) e hanno trovato che sono significativamente differenti con: . Dovrei essere sospettoso di un valore piccolo o dovrei attribuirlo all'elevato potere statistico associato ad avere un campione molto grande? Esiste un valore sospettosamente basso ? $n=120000$ p = 1.12E-207 $p$ $p$

— N26
fonte

Questo è quasi un duplicato di stats.stackexchange.com/questions/78839 .

— ameba dice di reintegrare Monica

Risposte:

I valori P sui computer standard (utilizzando i float di precisione doppia IEEE) possono arrivare a circa . Questi possono essere calcoli legittimamente corretti quando le dimensioni dell'effetto sono grandi e / o gli errori standard sono bassi. Il tuo valore, se calcolato con una T o una distribuzione normale, corrisponde a una dimensione dell'effetto di circa 31 errori standard. Ricordando che gli errori standard di solito si ridimensionano con la radice quadrata reciproca di , che riflette una differenza inferiore a 0,09 deviazioni standard (supponendo che tutti i campioni siano indipendenti). Nella maggior parte delle applicazioni, non ci sarebbe nulla di sospetto o insolito in una simile differenza. $10^{-303}$ $n$

L'interpretazione di tali valori p è un'altra questione. Vedere un numero piccolo come o anche come una probabilità sta superando i limiti della ragione, dati tutti i modi in cui è probabile che la realtà si discosti dal modello di probabilità che sta alla base di questo calcolo del valore p. Una buona scelta è quella di riportare il valore p come inferiore alla soglia più piccola che ritieni possa essere ragionevolmente supportata dal modello: spesso tra e . $10^{-207}$ $10^{-10}$ $0.01$ $0.0001$

— whuber
fonte

Quando ho riportato "

" in un documento della conferenza, un revisore mi ha detto che avrei dovuto cambiarlo in "

" per seguire le linee guida APA.

p < 10^{- 26}

$p<10^{-26}$

p < 0.001

$p<0.001$

— Thomas Levine,

@whuber - Splendidamente dichiarato.

— rolando2,

(+1) Ad un certo punto è più probabile che il governo stia lanciando in modo nefasto bit nella tua RAM da remoto con la tecnologia super spia ...

— JMS,

(+1) In realtà è possibile scendere appena sotto

in virgola mobile IEEE a precisione doppia. Tuttavia, le routine numeriche per il calcolo dei valori

sono quasi garantite a pezzi prima di allora. A meno che tu non sappia per certo che le tue assunzioni di modellazione sono perfettamente corrette (e quando lo sono?), Un valore

alla fine diventa una misura della dimensione del campione una volta che il campione diventa abbastanza grande.

5 \times 10^{- 324}

$5 \times 10^{-324}$

p

$p$

p

$p$

— cardinale

@Cardinal siamo entrambi sbagliato i limiti: oltre ai valori denormalizzati, il più piccolo IEEE doppia è di circa

, corrispondente al bit dieci per un esponente base-2.

10^{- 308}

$10^{-308}$

— whuber

Non c'è nulla di sospetto: valori p estremamente bassi come il tuo sono abbastanza comuni quando le dimensioni del campione sono grandi (come il tuo è per confrontare le mediane). Come indicato da Whuber, normalmente tali valori p sono riportati come inferiori a una certa soglia (ad es. <0,001).

Una cosa a cui prestare attenzione è che i valori p indicano solo se la differenza nella mediana è statisticamente significativa. Se la differenza è abbastanza significativa in termini di grandezza è qualcosa che dovrete decidere: ad es. Per grandi set di campioni, differenze estremamente piccole in termini di media / mediana possono essere statisticamente significative, ma potrebbe non significare molto.

— Xuexue
fonte

Un valore p può raggiungere un valore pari a 0.

$\theta$ $\mathcal{H}_0: \theta = 1$ $X=1.1$

— ADAMO
fonte