Il valore esatto di un "valore p" non ha senso?

Ho avuto una discussione con uno statistico nel 2009 in cui ha affermato che il valore esatto di un valore p è irrilevante: l'unica cosa importante è se è significativo o meno. Cioè un risultato non può essere più significativo di un altro; i tuoi campioni, ad esempio, provengono dalla stessa popolazione o no.

Ho qualche scrupolo con questo, ma forse posso capire l'ideologia:

1. La soglia del 5% è arbitraria, ovvero che p = 0,051 non è significativo e che p = 0,049 lo è, non dovrebbe davvero cambiare la conclusione della tua osservazione o esperimento, nonostante un risultato sia significativo e l'altro non significativo.

   Il motivo per cui lo sostengo ora è che sto studiando per un Master in Bioinformatica, e dopo aver parlato con le persone sul campo, sembra esserci un determinato impulso per ottenere un valore p esatto per ogni serie di statistiche che fanno. Ad esempio, se 'raggiungono' un valore p di p <1,9 × 10 ^-12 , vogliono dimostrare quanto sia significativo il loro risultato e che questo risultato è SUPER informativo. Questo problema è esemplificato da domande come: Perché non riesco a ottenere un valore p inferiore a 2.2e-16? , per cui vogliono registrare un valore che indica che per caso questo sarebbe MOLTO meno di 1 su un trilione. Ma vedo poca differenza nel dimostrare che questo risultato si verificherebbe meno di 1 su un trilione rispetto a 1 su un miliardo.

2. Posso apprezzare quindi che p <0,01 mostra che c'è meno dell'1% di probabilità che ciò accada, mentre p <0,001 indica che un risultato come questo è ancora più improbabile del suddetto valore p, ma le tue conclusioni tratte dovrebbero essere completamente diverso? Dopotutto sono entrambi valori p significativi. L'unico modo in cui posso concepire di voler registrare il valore p esatto è durante una correzione di Bonferroni in base alla quale la soglia cambia a causa del numero di confronti effettuati, riducendo così l'errore di tipo I. Ma ancora, perché dovresti mostrare un valore p inferiore di 12 ordini di grandezza rispetto alla tua soglia?

3. E l'applicazione della correzione Bonferroni in sé non è anch'essa leggermente arbitraria? Nel senso che inizialmente la correzione è vista come molto conservativa, e quindi ci sono altre correzioni che si possono scegliere per accedere al livello di significatività che l'osservatore potrebbe usare per i loro confronti multipli. Ma a causa di ciò, non è il punto in cui qualcosa diventa significativo essenzialmente variabile a seconda delle statistiche che il ricercatore vuole usare. Le statistiche dovrebbero essere così aperte all'interpretazione?

In conclusione, le statistiche non dovrebbero essere meno soggettive (anche se immagino che la necessità di essere soggettive sia una conseguenza di un sistema multivariato), ma alla fine voglio un chiarimento: qualcosa può essere più significativo di qualcos'altro? E p <0,001 sarà sufficiente rispetto al tentativo di registrare il valore p esatto?

1. Il tasso di errore di rifiuto di tipo 1 / falso non è completamente arbitrario, ma sì, è vicino. È piuttosto preferibile perché è meno cognitivamente complesso (alla gente piacciono i numeri tondi e i multipli di cinque ). È un discreto compromesso tra scetticismo e praticità, anche se forse un po 'obsoleto: i metodi moderni e le risorse di ricerca possono rendere preferibili standard più elevati (cioè valori di inferiori ), se devono esserci standard ^{( Johnson, 2013 )} .α = .051 $\alpha=.05$$\alpha=.051$$p$

   IMO, il problema maggiore rispetto alla scelta della soglia è la scelta spesso non esaminata di utilizzare una soglia in cui non è necessario o utile. In situazioni in cui deve essere fatta una scelta pratica, posso vedere il valore, ma molte ricerche di base non richiedono la decisione di respingere le proprie prove e rinunciare alla prospettiva di rifiutare il nulla solo perché le prove di un dato campione contro di esso non sono all'altezza di quasi ogni soglia ragionevole. Eppure, gran parte di autori di questa ricerca sentiamo obbligati a fare così per convenzione, e resistere a disagio, inventando termini come significato "marginale" per elemosinare attenzione quando possono sentirlo scivolare via perché il loro pubblico spesso non si preoccupano di s . Se si guardano le altre domande qui a≥ .05 p $p$$\ge.05$$p$interpretazione del valore, vedrai molte dissensi sull'interpretazione dei valori da parte di binari / decisioni riguardanti il ​​nulla.$p$fail toreject

2. Completamente diverso - no. Significativamente diverso - forse. Un motivo per mostrare un valore ridicolmente piccolo è implicare informazioni sulla dimensione dell'effetto. Naturalmente, solo riportare la dimensione dell'effetto sarebbe molto meglio per diversi motivi tecnici, ma gli autori spesso non riescono a considerare questa alternativa e il pubblico potrebbe anche avere meno familiarità con essa, purtroppo. In un mondo nullo-ipotetico in cui nessuno sa come riportare le dimensioni degli effetti, si può avere ragione il più delle volte a indovinare che una più piccola significa un effetto più grande. In qualunque misura questo mondo nullo-ipotetico sia più vicino alla realtà che al contrario, forse c'è qualche valore nel riportare esatte per questo motivo. Per favore, comprendi che questo punto è la pura difesa del diavolo ...p $p$$p$$p$

   Un altro uso per i esatti che ho imparato impegnandomi in un dibattito molto simile qui è come indici delle funzioni di probabilità. Vedi i commenti e l'articolo di Michael Lew ^{( Lew, 2013 )} collegati nella mia risposta a " Accogliere visioni tratteggiate di valori p ".$p$

3. Non penso che la correzione di Bonferroni sia davvero lo stesso tipo di arbitrario. Corregge la soglia che ritengo concordiamo sia almeno quasi del tutto arbitraria, quindi non perde nessuna di quella fondamentale arbitrarietà, ma non credo che aggiunga qualcosa di arbitrario all'equazione. La correzione è definita in modo logico, pragmatico e variazioni minori verso correzioni sempre più grandi sembrerebbero richiedere argomenti piuttosto sofisticati per giustificarle come più che arbitrarie, mentre penso che sarebbe più facile discutere per un aggiustamento di senza dover superare qualsiasi logica profondamente attraente e semplice al suo interno.$\alpha$

   Semmai, penso che i valori di dovrebbero essere più aperti all'interpretazione! Vale a dire, se il nulla sia davvero più utile dell'alternativa dovrebbe dipendere da qualcosa di più della semplice prova contro di esso, compreso il costo per ottenere più informazioni e il valore incrementale aggiunto di conoscenze più precise ottenute in tal modo. Questa è essenzialmente l'idea senza soglia dei pescatori che, AFAIK, è così che è iniziata. Vedi " Riguardo ai valori p, perché 1% e 5%? Perché non 6% o 10%? "$p$

Se le fail to/ rejectcrisi non sono costrette fin dall'inizio sull'ipotesi nulla, allora la comprensione più continua del significato statistico ammette certamente la possibilità di un significato in costante aumento. Nell'approccio dicotomizzato alla significatività statistica (penso che questo sia talvolta indicato come il quadro Neyman-Pearson; ^{cfr. Dienes, 2007 ),} no, qualsiasi risultato significativo è significativo come il prossimo - niente di più, niente di meno. Questa domanda può aiutare a spiegare questo principio: " Perché i valori di p sono distribuiti uniformemente sotto l'ipotesi nulla? " Per quanto riguarda quanti zero sono significativi e vale la pena riportarli, raccomando la risposta di Glen_b a questa domanda: " Come dovrebbe minuscola$p$-valori da segnalare? (e perché R pone un minimo di 2.22e-16?) "- è molto meglio delle risposte alla versione di quella domanda che hai collegato su Stack Overflow!

<sup>Riferimenti
: Johnson, VE (2013). Standard rivisti per prove statistiche. Atti della National Academy of Sciences, 110 (48), 19313–19317. Estratto da http://www.pnas.org/content/110/48/19313.full.pdf .
- Lew, MJ (2013). A P o no a P: Sulla natura probatoria dei valori di P e il loro posto nell'inferenza scientifica. arXiv: 1311.0081 [stat.ME]. Estratto da http://arxiv.org/abs/1311.0081 .</sup>

Mi sembra che, se un valore è significativo, il suo valore esatto è significativo.

Il valore p risponde a questa domanda:

Se, nella popolazione da cui questo campione è stato estratto casualmente, l'ipotesi nulla fosse vera, qual è la probabilità di ottenere una statistica del test almeno estrema come quella che abbiamo ottenuto nel campione?

Che dire di questa definizione rende insignificante un valore esatto?

Questa è una domanda diversa da quelle sui valori estremi di p. Il problema con le affermazioni che coinvolgono p con molti 0 riguarda quanto bene possiamo stimare p negli estremi. Dal momento che non possiamo farlo molto bene, non ha senso usare stime così precise di p. Questo è lo stesso motivo per cui non diciamo che p = 0,0319281010012981. Non conosciamo queste ultime cifre con fiducia.

Le nostre conclusioni dovrebbero essere diverse se p <0,001 anziché p <0,05? Oppure, per usare numeri precisi, le nostre conclusioni dovrebbero essere diverse se p = 0.00023 anziché p = 0,035?

Penso che il problema sia il modo in cui generalmente concludiamo le cose su p. Diciamo "significativo" o "non significativo" basato su un livello arbitrario. Se usiamo questi livelli arbitrari, allora sì, le nostre conclusioni saranno diverse. Ma non è così che dovremmo pensare a queste cose. Dovremmo esaminare il peso delle prove e i test statistici sono solo una parte di tali prove. Inserirò (ancora una volta) i "criteri MAGIC" di Robert Abelson:

Magnitudine: quanto è grande l'effetto?

Articolazione: con che precisione viene dichiarata? Ci sono molte eccezioni?

Generalità - a quale gruppo si applica?

Interesse: alla gente importa?

Credibilità - ha senso?

È la combinazione di tutto ciò che conta. Si noti che Abelson non menziona affatto i valori di p, sebbene entrino in una sorta di ibrido di grandezza e articolazione.