Perché è male insegnare agli studenti che i valori p sono la probabilità che i risultati siano dovuti al caso?

Qualcuno può offrire una spiegazione breve e concisa sul perché non è una buona idea insegnare agli studenti che un valore p è il prob (i loro risultati sono dovuti al caso [casuale]). La mia comprensione è che un valore p è il prob (ottenere dati più estremi | l'ipotesi nulla è vera).

Il mio vero interesse è ciò che è male nel dire loro che è il primo (a parte il fatto che semplicemente non è così).

Ho un'interpretazione diversa del significato dell'affermazione sbagliata rispetto a @Karl. Penso che sia una dichiarazione sui dati, piuttosto che sul nulla. Lo capisco come chiedere la probabilità di ottenere il tuo preventivo a causa del caso. Non so cosa significhi --- non è un reclamo ben specificato.

Ma capisco cosa si intende probabilmente per probabilità di ottenere la mia stima per caso dato che la stima vera è uguale a un valore particolare. Ad esempio, posso capire cosa significa ottenere una differenza molto grande nelle altezze medie tra uomini e donne dato che le loro altezze medie sono effettivamente le stesse. È ben specificato. E questo è ciò che dà il valore p. Ciò che manca nell'istruzione errata è la condizione che il null sia vero.

Ora, potremmo obiettare che questa non è un'istruzione perfetta (la possibilità di ottenere un valore esatto per uno stimatore è 0, per esempio). Ma è molto meglio del modo in cui la maggior parte interpreterebbe un valore p.

Il punto chiave che dico ripetutamente quando insegno il test delle ipotesi è "Il primo passo è assumere che l'ipotesi nulla sia vera. Tutto è calcolato alla luce di questa ipotesi". Se la gente lo ricorda, va bene.

Ho visto molto questa interpretazione (forse più spesso di quella corretta). Interpreto "le loro scoperte sono dovute alla possibilità [casuale]" come " è vero", e quindi quello che stanno dicendo è [che in realtà dovrebbe essere ; dì "dato ciò che abbiamo visto (i dati), qual è la probabilità che funzioni solo la possibilità?"] Questa può essere un'affermazione significativa (se sei disposto ad assegnare i priori e fare Bayes), ma non è il p -valore . $\text{H}_0$$\Pr(\text{H}_0)$$\Pr(\text{H}_0 | \text{data})$

$\Pr(\text{H}_0 | \text{data})$ può essere molto diverso dal valore p, quindi interpretare un valore p in quel modo può essere fuorviante.

L'illustrazione più semplice: dire il precedente, è piuttosto piccolo, ma si hanno dati piuttosto scarsi, quindi il valore p è di grandi dimensioni (diciamo, 0,3), ma il posteriore, , sarebbe comunque piuttosto piccolo. [Ma forse questo esempio non è così interessante.]$\Pr(H_0)$$\Pr(\text{H}_0|\text{data})$

Aggiungerò una risposta tardiva dal punto di vista (ex) dello studente: IMHO il danno non può essere separato dal suo essere sbagliato.

Questo tipo di "approssimazioni / scorciatoie" sbagliate può creare molta confusione per gli studenti che si rendono conto di non poter comprendere logicamente l'affermazione, ma supponendo che ciò che viene loro insegnato sia giusto, non si rendono conto di non essere in grado di capirlo perché non è giusto.

Ciò non influisce sugli studenti che memorizzano semplicemente le regole presentate loro. Ma richiede che gli studenti che imparano comprendendo siano abbastanza bravi da farlo

• arrivare alla soluzione corretta da soli e
• essere abbastanza bravo in modo che possano essere sicuri di avere ragione
• e concludere che gli viene insegnata una cazzata (per qualche presunta ragione didattica).

Non sto dicendo che non ci sono scorciatoie didattiche valide. Ma IMHO quando viene preso un tale collegamento, questo dovrebbe essere menzionato (ad esempio come "per la facilità dell'argomento, assumiamo / approssimiamo che ...").
In questo caso particolare, tuttavia, penso che sia troppo fuorviante per essere di qualche utilità.

Riferendosi direttamente alla domanda: dov'è il danno?

A mio avviso, la risposta a questa domanda sta nel contrario dell'affermazione, "Un valore p è la probabilità che i risultati siano dovuti a una casualità". Se uno lo crede, allora probabilmente crede anche quanto segue: "[1- (p-value)] è la probabilità che i risultati NON siano dovuti a casualità."

Il danno risiede quindi nella seconda affermazione, poiché, dato il modo in cui la maggior parte dei cervelli della gente lavora, questa affermazione sopravvaluta gravemente la fiducia che dovremmo avere nei valori specifici di un parametro stimato.

Ecco un semplice esempio che uso:

Supponiamo che la nostra ipotesi nulla sia che stiamo lanciando una moneta a 2 teste (quindi prob (teste) = 1). Ora lanciamo la moneta una volta e otteniamo testa, i valori p per questo sono 1, quindi significa che abbiamo una probabilità del 100% di avere una moneta a 2 teste?

La cosa difficile è che se avessimo girato una croce, il valore p sarebbe stato 0 e la probabilità di avere una moneta a 2 teste sarebbe stata 0, quindi corrispondono in questo caso, ma non sopra. Il valore p di 1 sopra significa solo che ciò che abbiamo osservato è perfettamente coerente con l'ipotesi di una moneta a 2 teste, ma non dimostra che la moneta sia a 2 teste.

Inoltre, se stiamo facendo statistiche frequentiste, allora l'ipotesi nulla è Vero o Falso (non sappiamo quale) e fare dichiarazioni di probabilità (frequentista) sull'ipotesi nulla è insignificante. Se vuoi parlare della probabilità dell'ipotesi, quindi fai le statistiche bayesiane appropriate, usa la definizione bayesiana di probabilità, inizia con un precedente e calcola la probabilità posteriore che l'ipotesi sia vera. Basta non confondere un valore p con un posteriore bayesiano.

OK un altro, leggermente diverso prendere questo:

Un primo problema di base è la frase "dovuta a possibilità [casuali]". L'idea di una "possibilità" non specificata viene naturalmente agli studenti, ma è pericoloso pensare chiaramente all'incertezza e catastrofica per fare statistiche sensibili. Con qualcosa come una sequenza di lanci di monete, è facile supporre che la "possibilità" sia descritta dall'impostazione binomiale con una probabilità di 0,5. C'è sicuramente una certa naturalezza, ma da un punto di vista statistico non è più naturale che assumere 0,6 o qualcos'altro. E per altri esempi meno "ovvi", ad esempio che coinvolgono parametri reali, è assolutamente inutile pensare a quale "probabilità" sembrerebbe.

Per quanto riguarda la domanda, l'idea chiave è capire quale tipo di "possibilità" è descritta da H0, ovvero quali probabilità effettive / nomi DG0 H0. Una volta che questo concetto è stato messo in atto, gli studenti finalmente smettono di parlare di cose che accadono "per caso" e iniziano a chiedere cosa sia realmente H0. (Capiscono anche che le cose possono essere coerenti con una varietà piuttosto ampia di H in modo da ottenere un vantaggio sugli intervalli di confidenza, tramite test invertiti).

Il secondo problema è che se sei sulla strada della definizione di Fisher di valori p, dovresti (imho) spiegarlo sempre prima in termini di coerenza dei dati con H0 perché il punto di p è quello di vederlo, non di interpretare l'area della coda come una sorta di attività "casuale" (o francamente per interpretarla del tutto). Questa è puramente una questione di enfasi retorica, ovviamente, ma sembra aiutare.

In breve, il danno è che questo modo di descrivere le cose non si generalizzerà a nessun modello non banale a cui potrebbero successivamente tentare di pensare. Nella peggiore delle ipotesi, potrebbe solo aggiungere al senso di mistero che lo studio della statistica genera già nel genere di persone a cui sono rivolte descrizioni accaparrate.

Se lo smontaggio, "il valore p è la probabilità che un effetto sia dovuto al caso", sembra implicare che l'effetto è causato dal caso. Ma ogni effetto è parzialmente causato dal caso. In una lezione di statistica in cui si spiega la necessità di provare a vedere attraverso la variabilità casuale questa è un'affermazione piuttosto magica e sconvolgente. Fornisce ai valori di p poteri che non hanno.

Se in un caso specifico definisci la possibilità di essere l'ipotesi nulla allora stai affermando che il valore p produce la probabilità che l'effetto osservato sia causato dall'ipotesi nulla. Ciò sembra terribilmente vicino all'affermazione corretta ma affermare che una condizione sulla probabilità è la causa di tale probabilità è di nuovo esagerato. L'affermazione corretta, secondo cui il valore p è la probabilità dell'effetto dato l'ipotesi nulla è vera, non attribuisce la causa all'effetto null. Le cause sono varie tra cui il vero effetto, la variabilità intorno all'effetto e la possibilità casuale. Il valore p non misura la probabilità di nessuno di questi.