Come può un t-test essere statisticamente significativo se la differenza media è quasi 0?

Sto cercando di confrontare i dati di 2 popolazioni per capire se la differenza tra i trattamenti è statisticamente significativa. I set di dati sembrano essere distribuiti normalmente con una differenza minima tra i due set. La differenza media è 0,00017. Ho eseguito un test t accoppiato, prevedendo che non avrei rifiutato l'ipotesi nulla di nessuna differenza tra le medie, tuttavia il mio valore t calcolato è molto più alto del mio valore t critico.

Non vedo alcun motivo per credere che tu abbia fatto qualcosa di sbagliato solo perché il test è stato significativo, anche se la differenza media è molto piccola. In un test t accoppiato, il significato sarà guidato da tre cose:

1. l'entità della differenza media
2. la quantità di dati che hai
3. la deviazione standard delle differenze

Certo, la tua differenza media è molto, molto piccola. D'altra parte, hai una discreta quantità di dati (N = 335). L'ultimo fattore è la deviazione standard delle differenze. Non so che cosa sia, ma dato che hai ottenuto un risultato significativo, è sicuro presumere che sia abbastanza piccolo da superare la piccola differenza media con la quantità di dati che hai. Per costruire un'intuizione, immagina che la differenza accoppiata per ogni osservazione nel tuo studio fosse 0,00017, quindi la deviazione standard delle differenze sarebbe 0. Sicuramente, sarebbe ragionevole concludere che il trattamento ha portato a una riduzione (anche se una piccola).

Come osserva @whuber nei commenti qui sotto, vale la pena sottolineare che mentre 0,00017 sembra un numero molto piccolo come numero, non è necessariamente piccolo in termini significativi. Per saperlo, dovremmo sapere diverse cose, in primo luogo quali sono le unità. Se le unità sono molto grandi (ad esempio, anni, chilometri, ecc.), Ciò che sembra essere piccolo potrebbe essere significativamente grande, mentre se le unità sono piccole (ad esempio, secondi, centimetri, ecc.), Questa differenza sembra ancora più piccola. In secondo luogo, anche un piccolo cambiamento può essere importante: immagina un tipo di trattamento (ad esempio il vaccino) che è stato molto economico, facile da somministrare a tutta la popolazione e senza effetti collaterali. Potrebbe valere la pena farlo anche se ha salvato solo poche vite.

Per sapere se una differenza è veramente grande o piccola richiede una certa misura di scala, la deviazione standard è una misura di scala e fa parte della formula del test t per spiegare in parte quella scala.

Considera se stai confrontando le altezze dei bambini di 5 anni con le altezze dei bambini di 20 anni (umani, stessa area geografica, ecc.). L'intuizione ci dice che c'è una differenza pratica lì e se le altezze sono misurate in pollici o centimetri, la differenza sembrerà significativa. E se convertissi le altezze in chilometri? o anni luce? allora la differenza sarà un numero molto piccolo (ma comunque diverso), ma (blocco dell'errore di arrotondamento) il test t darà gli stessi risultati se l'altezza viene misurata in pollici, centimetri o chilometri.

Quindi una differenza di 0,00017 può essere enorme a seconda della scala delle misurazioni.

$t$unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations$t$$\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

.00001$t$

Forse saresti più interessato al significato pratico che a questo senso letterale del test di significatività dell'ipotesi nulla. Il significato pratico dipenderà molto più dal significato dei dati nel contesto che dal significato statistico; non è una questione puramente statistica. Ho citato un utile esempio di questo principio in una risposta a una domanda popolare qui, Accomodare viste tratteggiate di valori p :

$r=.03$

Questa "questione di vita o di morte" era sostanzialmente la dimensione dell'effetto dell'aspirina sugli attacchi di cuore - un potente esempio di differenze numericamente piccole, molto meno coerenti con un significato praticamente importante. Molte altre domande con risposte solide di cui potresti beneficiare meritano i link qui, tra cui:

• Perché "statisticamente significativo" non è abbastanza?
• significato pratico vs statistico
• Significato pratico, in particolare con le percentuali: misura e soglia "standard"

Riferimento

Rosenthal, R., Rosnow, RL e Rubin, DB (2000). Contrasti e dimensioni dell'effetto nella ricerca comportamentale: un approccio correlativo . Cambridge University Press.

Ecco un esempio in R che mostra i concetti teorici in azione. 10.000 tentativi di lanciare una moneta 10.000 volte che ha una probabilità di teste di 0,0001 rispetto a 10.000 tentativi di lanciare una moneta 10.000 volte che ha una probabilità di teste di 0,00001

t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))

t = -8,0299, df = 19886,35, valore p = 1,03e-15 ipotesi alternativa: la vera differenza nelle medie non è uguale allo 0 95 percento intervallo di confidenza: -0,14493747-0,0806253 stime del campione: media della x media di 0,9898 1,1063

La differenza nella media è relativamente chiusa a 0 in termini di percezione umana, tuttavia è statisticamente molto diversa da 0.