Come eseguire il test t con campioni enormi?

Ho due popolazioni, una con N = 38.704 (numero di osservazioni) e l'altra con N = 1.313.662. Questi set di dati hanno ~ 25 variabili, tutte continue. Ho preso la media di ciascuno in ogni set di dati e ho calcolato la statistica del test usando la formula

t = differenza media / errore std

Il problema è il grado di libertà. Con la formula di df = N1 + N2-2 avremo più libertà di quanto la tabella possa gestire. Qualche suggerimento su questo? Come controllare la statistica t qui. So che il test t viene utilizzato per la gestione dei campioni, ma cosa succede se lo applichiamo su campioni di grandi dimensioni.

chl ha già menzionato la trappola di confronti multipli durante l'esecuzione simultanea di 25 test con lo stesso set di dati. Un modo semplice per gestire è quello di regolare la soglia del valore p dividendoli per il numero di test (in questo caso 25). La formula più precisa è: Valore p corretto = 1 - (1 - valore p) ^ (1 / n). Tuttavia, le due diverse formule derivano quasi lo stesso valore p corretto.

C'è un altro grosso problema con il tuo esercizio di test delle ipotesi. Incontrerai sicuramente un errore di tipo I (falso positivo) in base al quale scoprirai alcune differenze davvero insignificanti che sono estremamente significative a livello del 99,9999%. Questo perché quando si ha a che fare con un campione di dimensioni così grandi (n = 1.313.662), si otterrà un errore standard molto vicino a 0. Questo perché la radice quadrata di 1.313.662 = 1.146. Quindi, dividerai la deviazione standard per 1.146. In breve, acquisirai piccole differenze che potrebbero essere completamente irrilevanti.

Suggerirei di abbandonare questo quadro di verifica delle ipotesi e di condurre invece un'analisi del tipo di dimensione dell'effetto. In questo quadro la misura della distanza statistica è la deviazione standard. A differenza dell'errore standard, la deviazione standard non viene ridotta artificialmente dalla dimensione del campione. Inoltre, questo approccio ti darà un migliore senso delle differenze materiali tra i tuoi set di dati. La dimensione dell'effetto è anche molto più focalizzata sull'intervallo di confidenza attorno alla differenza media media che è molto più istruttiva rispetto al test di ipotesi focalizzato sulla significatività statistica che spesso non è affatto significativa. Spero che aiuti.

La distribuzione t dello studente diventa sempre più vicina alla distribuzione normale standard man mano che i gradi di libertà diventano più grandi. Con 1313662 + 38704 - 2 = 1352364 gradi di libertà, la distribuzione t sarà indistinguibile dalla distribuzione normale standard, come si può vedere nella figura qui sotto (a meno che forse non sei nelle code molto estreme e ti interessi distinguendo valori p assolutamente minuscoli da valori ancora più piccoli). Quindi è possibile utilizzare la tabella per la distribuzione normale standard anziché la tabella per la distribuzione t .

$t$$z$$n$$n>30$$n$$z$

Solo per essere sicuri, dato che il tuo set di dati include 25 variabili, stai facendo 25 test? In questo caso, probabilmente dovrai correggere più confronti in modo da non gonfiare il tasso di errore di tipo I (vedi il thread correlato su questo sito).

A proposito, il software R ti darebbe i valori p che stai cercando, senza bisogno di fare affidamento sulle tabelle:

> x1 <- rnorm(n=38704)
> x2 <- rnorm(n=1313662, mean=.1)
> t.test(x1, x2, var.equal=TRUE)

    Two Sample t-test

data:  x1 and x2 
t = -17.9156, df = 1352364, p-value < 2.2e-16
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.1024183 -0.0822190 
sample estimates:
  mean of x   mean of y 
0.007137404 0.099456039