Perché gli statistici dicono che un risultato non significativo significa "non puoi rifiutare il nulla" invece di accettare l'ipotesi nulla?

44

I test statistici tradizionali, come i due t-test dei campioni, si concentrano sul tentativo di eliminare l'ipotesi che non vi sia differenza tra una funzione di due campioni indipendenti. Quindi, scegliamo un livello di confidenza e diciamo che se la differenza di mezzi è oltre il livello del 95%, possiamo rifiutare l'ipotesi nulla. In caso contrario, "non possiamo rifiutare l'ipotesi nulla". Ciò sembra implicare che neanche noi possiamo accettarlo. Significa che non siamo sicuri che l'ipotesi nulla sia vera?

Ora, voglio progettare un test in cui la mia ipotesi è che una funzione di due campioni è la stessa (che è l'opposto dei test statistici tradizionali in cui l'ipotesi è che i due campioni sono diversi). Quindi, la mia ipotesi nulla diventa che i due campioni siano diversi. Come devo progettare un test del genere? Sarà semplice come dire che se il valore di p è inferiore al 5% possiamo accettare l'ipotesi che non ci siano differenze significative?

— ryu576
fonte

Molto correlato: l' incapacità di respingere il nulla nell'approccio Neyman-Pearson significa che si dovrebbe "accettarlo"?

— ameba dice di reintegrare Monica il

la differenza di mezzi è oltre il livello del 95%, possiamo rifiutare l'ipotesi nulla. Il 95% non è un "livello", è qui in 95 casi su 100 casi (confronti), la differenza nelle statistiche campione è dovuta alle fluttuazioni del campionamento. significa che null è accettato in alpha = .05. Dire che il livello del 95% non è un termine corretto.

— Subhash C. Davar,

44

Tradizionalmente, l' ipotesi nulla è un valore in punti. (Di solito è , ma in realtà può essere qualsiasi valore in punti.) L'ipotesi alternativa è che il valore vero sia qualsiasi valore diverso dal valore nullo . Poiché una variabile continua (come una differenza media) può assumere un valore indefinitamente vicino al valore nullo ma non ancora del tutto uguale e quindi rendere falsa l'ipotesi nulla, un'ipotesi nulla punto tradizionale non può essere dimostrata. $0$

Immagina che la tua ipotesi nulla sia e la differenza media che osservi è . È ragionevole supporre che l'ipotesi nulla sia vera? Non lo sai ancora; sarebbe utile sapere come appare il nostro intervallo di confidenza . Supponiamo che il tuo intervallo di confidenza al 95% sia . Ora, dovremmo concludere che il valore vero è ? Non mi sentirei a mio agio nel dire che, poiché la CI è molto ampia e ci sono molti, valori diversi da zero che potremmo ragionevolmente sospettare siano coerenti con i nostri dati. Diciamo quindi che raccogliamo molti, molti più dati, e ora la nostra differenza media osservata è $0$ $0.01$ $(-4.99,\ 5.01)$ $0$ $0.01$ , ma l'IC 95% è . La differenza media osservata è rimasta la stessa (il che sarebbe sorprendente se fosse realmente accaduto), ma l'intervallo di confidenza ora esclude il valore nullo. Naturalmente, questo è solo un esperimento mentale, ma dovrebbe chiarire le idee di base. Non possiamo mai dimostrare che il vero valore sia un determinato valore in punti; possiamo solo (possibilmente) confutare che si tratta di un valore in punti. Nel test delle ipotesi statistiche, il fatto che il valore p sia> 0,05 (e che l'IC 95% includa zero) significa che non siamo sicuri che l'ipotesi nulla sia vera . $(0.005,\ 0.015)$

Per quanto riguarda il tuo caso concreto, non puoi costruire un test in cui l'ipotesi alternativa è che la differenza media è e l'ipotesi nulla è diversa da zero. Ciò viola la logica del test di ipotesi. È perfettamente ragionevole che si tratti della tua ipotesi scientifica sostanziale, ma non può essere la tua ipotesi alternativa in una situazione di verifica delle ipotesi. $0$

Che cosa si può fare? In questa situazione, si utilizza il test di equivalenza. (Potresti voler leggere alcuni dei nostri thread su questo argomento facendo clic sul tag di equivalenza .) La strategia tipica è quella di utilizzare l'approccio dei test a due facciate. Molto brevemente, selezioni un intervallo entro il quale considereresti che anche la vera differenza media potrebbe essere $0$ per tutto ciò di cui potresti preoccuparti, esegui un test unilaterale per determinare se il valore osservato è inferiore al limite superiore di quell'intervallo e un altro test unilaterale per vedere se è maggiore del limite inferiore. Se entrambi questi test sono significativi, hai respinto l'ipotesi che il valore vero sia al di fuori dell'intervallo che ti interessa. Se uno (o entrambi) non sono significativi, non si respinge l'ipotesi che il valore vero sia al di fuori dell'intervallo.

Ad esempio, supponiamo che qualsiasi cosa nell'intervallo sia così vicino allo zero che pensi che sia essenzialmente uguale a zero per i tuoi scopi, quindi lo usi come tua ipotesi sostanziale. Ora immagina di ottenere il primo risultato sopra descritto. Sebbene $(-0.02,\ 0.02)$ $0.01$ rientra in quell'intervallo, non si sarebbe in grado di rifiutare l'ipotesi nulla su entrambi i test t unilaterali, quindi non si respingerebbe l'ipotesi nulla. D'altra parte, immagina di avere il secondo risultato sopra descritto. Ora scopri che il valore osservato rientra nell'intervallo designato e può essere mostrato sia inferiore al limite superiore e maggiore del limite inferiore, quindi puoi rifiutare il valore nullo. (Vale la pena notare che è possibile rifiutare sia l'ipotesi che il valore vero sia , sia l'ipotesi che il valore vero sia al di fuori dell'intervallo $0$ $(-0.02,\ 0.02)$ , che all'inizio può sembrare sconcertante, ma è pienamente coerente con la logica del test delle ipotesi.)

— gung - Ripristina Monica
fonte

1

H_{0}

$H_0$

H_{0}

$H_0$

1

H_{0}

$H_0$

H_{0} : δ \leq 0

$H_0: \delta\le 0$

δ

$\delta$

> 0

$>0$

< 0

$<0$

1

H_{0}

$H_0$

4

δ \neq 0

$\delta \neq 0$

δ \leq 0

$\delta \leq 0$

H_{0} : δ \leq 0

$H_0:\,\delta \leq 0$

1

H_{0} : δ < 0

$H_0:\delta<0$

H_{0} : δ = 0

$H_0:\delta=0$

δ > 0

$\delta>0$

δ < 0

$\delta<0$ può effettivamente portare ad accettarne uno (o un risultato inconcludente). Inoltre i test unilaterali hanno più senso dal punto di vista bayesiano. Inoltre la previsione scientifica dovrebbe avere una direzione. Immagino di iniziare a pensare che i test unilaterali non siano abbastanza apprezzati.

— ameba dice Ripristina Monica il

28

Considera il caso in cui l'ipotesi nulla sia che una moneta sia a 2 teste, cioè la probabilità di testa è 1. Ora i dati sono il risultato del lancio di una moneta una sola volta e del vedere teste. Ciò si traduce in un valore p di 1,0 che è maggiore di ogni alfa ragionevole. Questo significa che la moneta ha 2 teste? potrebbe essere, ma potrebbe anche essere una moneta giusta e abbiamo visto delle teste a causa del caso (sarebbe accaduto il 50% delle volte con una moneta giusta). Quindi l'alto valore p in questo caso afferma che i dati osservati sono perfettamente coerenti con il valore nullo, ma sono anche coerenti con altre possibilità.

Proprio come un verdetto "Non colpevole" in tribunale può significare che l'imputato è innocente, può anche essere perché l'imputato è colpevole ma non ci sono prove sufficienti. Lo stesso con l'ipotesi nulla che non riusciamo a respingere perché il nulla potrebbe essere vero, oppure potrebbe non esserci prova sufficiente per rifiutare anche se è falso.

— Greg Snow
fonte

3

Mi piace l'esempio "Non colpevole". Fare un ulteriore passo avanti, riaprire i casi sulla base di prove del DNA che non sapevamo come usare in passato e di aver capovolto alcune convinzioni è un esempio perfetto di come aggiungere più dati possa essere tutto ciò che è necessario per avere prove sufficienti.

— Thomas Speidel,

7

L'assenza di prove non è la prova di un'assenza (il titolo di un articolo di Altman, Bland su BMJ). I valori P ci danno prova di un'assenza solo se li consideriamo significativi. Altrimenti, non ci dicono nulla. Quindi, assenza di prove. In altre parole: non lo sappiamo e potrebbero essere utili più dati.

— Thomas Speidel
fonte

5

$H_0$

$H_1$ $H_0$

$H_0$

Se abbiamo due campioni che prevediamo di essere distribuiti in modo identico, la nostra ipotesi nulla è che i campioni siano gli stessi. Se abbiamo due campioni che ci aspetteremmo di essere (selvaggiamente) diversi, la nostra ipotesi nulla è che siano diversi.

— SomeEE
fonte

E se non avessimo aspettative ... potrebbe essere che non lo sappiamo. Inoltre, come funzionerà la regola decisionale se vogliamo rifiutare l'ipotesi che i due campioni siano diversi?

— ryu576,

Nel caso in cui non abbiate aspettative, volete mantenere entrambi i tipi di errori piccoli, ma ciò non è sempre possibile. È necessaria una variabile aggiuntiva (come aumentare la dimensione del campione) per farlo.

— SomeEE

2

Dal momento che possiamo rifiutare il nulla ma non dimostrarlo vero, il nulla è generalmente l'opposto di ciò che vogliamo dimostrare o assumere come vero. Se crediamo che ci sia una differenza, allora il null non dovrebbe fare alcuna differenza in modo da poterlo smentire.

— Greg Snow,

@Greg Questo è un buon approccio se sai quale vuoi essere vero, che è probabilmente il solito caso.

— SomeEE

1

"Quello che ti aspetti" e "che sono diversi" non possono essere affatto ipotesi statistiche perché non sono quantitative. Questo arriva al nocciolo della questione: l'asimmetria nei ruoli tra l'ipotesi nulla e alternativa deriva dalla capacità di determinare la distribuzione campionaria della statistica test sotto il nulla, rispetto alla necessità di parametrizzare la distribuzione in base alla dimensione dell'effetto sotto il ipotesi alternativa. Né è il caso "minimizziamo l'errore di tipo I": ciò non accade mai (il minimo è sempre 0). I test cercano un equilibrio tra i tassi di errore di tipo I e II.

— whuber