I set di dati di grandi dimensioni sono inappropriati per il test delle ipotesi?

In un recente articolo di Amstat News , gli autori (Mark van der Laan e Sherri Rose) hanno dichiarato che "Sappiamo che per campioni sufficientemente grandi, ogni studio, compresi quelli in cui è vera l'ipotesi nulla di nessun effetto, dichiarerà un effetto statisticamente significativo ".

Beh, io per primo non lo sapevo. È vero? Significa che il test delle ipotesi è inutile per grandi serie di dati?

Non è vero. Se l'ipotesi nulla è vera, allora non verrà rifiutata più frequentemente a campioni di grandi dimensioni che piccoli. C'è un tasso di rifiuto errato che di solito è impostato su 0,05 (alfa) ma è indipendente dalla dimensione del campione. Pertanto, presa alla lettera l'affermazione è falsa. Tuttavia, è possibile che in alcune situazioni (anche interi campi) tutti i valori null siano falsi e quindi tutti saranno rifiutati se N è abbastanza alto. Ma è una brutta cosa?

Ciò che è vero è che effetti banalmente piccoli possono essere considerati "significativi" con campioni di dimensioni molto grandi. Ciò non suggerisce che non si debbano avere campioni di dimensioni così grandi. Ciò significa che il modo in cui interpreti la tua scoperta dipende dalla dimensione dell'effetto e dalla sensibilità del test. Se hai una dimensione dell'effetto molto piccola e un test altamente sensibile devi riconoscere che il risultato statisticamente significativo potrebbe non essere significativo o utile.

Dato che alcune persone non credono che un test dell'ipotesi nulla, quando il valore nullo è vero , abbia sempre un tasso di errore pari al punto di taglio selezionato per qualsiasi dimensione del campione, ecco una semplice simulazione per Rdimostrare il punto. Rendi N grande quanto desideri e il tasso di errori di tipo I rimarrà costante.

# number of subjects in each condition
n <- 100
# number of replications of the study in order to check the Type I error rate
nsamp <- 10000

ps <- replicate(nsamp, {
    #population mean = 0, sd = 1 for both samples, therefore, no real effect
    y1 <- rnorm(n, 0, 1) 
    y2 <- rnorm(n, 0, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    tt$p.value
})
sum(ps < .05) / nsamp

# ~ .05 no matter how big n is. Note particularly that it is not an increasing value always finding effects when n is very large.

Concordo con le risposte che sono apparse, ma vorrei aggiungere che forse la domanda potrebbe essere reindirizzata. Se verificare un'ipotesi o meno è una domanda di ricerca che dovrebbe, almeno in generale, essere indipendente da quanti dati si hanno. Se hai davvero bisogno di testare un'ipotesi, fallo e non aver paura della tua capacità di rilevare piccoli effetti. Ma prima chiedi se fa parte dei tuoi obiettivi di ricerca.

Ora per alcuni cavilli:

• Alcune ipotesi nulle sono assolutamente vere per costruzione. Quando stai testando un generatore di numeri pseudocasuali per equidistribuzione, per esempio, e quel PRG è veramente equidistribuito (che sarebbe un teorema matematico), allora vale il nullo. Probabilmente la maggior parte di voi può pensare a esempi più interessanti del mondo reale derivanti dalla randomizzazione in esperimenti in cui il trattamento non ha davvero alcun effetto. (Darei l'intera letteratura su esp come esempio. ;-)

• In una situazione in cui un null "semplice" viene testato rispetto a un'alternativa "composta", come nei classici test t o test z, in genere si richiede una dimensione del campione proporzionale a per rilevare una dimensione dell'effetto di . C'è un limite pratico superiore a questo in qualsiasi studio, il che implica che esiste un limite inferiore pratico su una dimensione di effetto rilevabile. Quindi, in teoria, der Laan e Rose sono corretti, ma dovremmo occuparci di applicare le loro conclusioni.$1/\epsilon^2$$\epsilon$

I test di ipotesi tradizionalmente focalizzati sui valori di p per ricavare significatività statistica quando l'alfa è inferiore a 0,05 presentano una grave debolezza. E cioè che con una dimensione del campione abbastanza grande qualsiasi esperimento può eventualmente respingere l'ipotesi nulla e rilevare differenze banalmente piccole che risultano statisticamente significative.

Questo è il motivo per cui le case farmaceutiche strutturano studi clinici per ottenere l'approvazione della FDA con campioni molto grandi. Il grande campione ridurrà l'errore standard a quasi zero. Questo a sua volta aumenterà artificialmente la stat t e abbasserà commisuratamente il valore p per chiudere allo 0%.

Mi incontro all'interno di comunità scientifiche che non sono corrotte da incentivi economici e il relativo test di ipotesi sul conflitto di interessi si sta allontanando da qualsiasi misurazione del valore p verso misurazioni della dimensione dell'effetto. Questo perché l'unità di distanza statistica o di differenziazione nell'analisi Dimensione effetto è la deviazione standard anziché l'errore standard. Inoltre, la deviazione standard è completamente indipendente dalla dimensione del campione. D'altro canto, l'errore standard dipende totalmente dalla dimensione del campione.

Quindi, chiunque sia scettico nei test delle ipotesi che raggiungono risultati statisticamente significativi basati su campioni di grandi dimensioni e metodologie relative al valore p è giusto essere scettici. Dovrebbero ripetere l'analisi utilizzando gli stessi dati ma utilizzando invece i test statistici sulle dimensioni dell'effetto. E poi osserva se la dimensione dell'effetto è considerata materiale o no. In tal modo, è possibile osservare che un mucchio di differenze statisticamente significative sono associate a Dimensione effetto non rilevante. Questo è ciò che i ricercatori della sperimentazione clinica a volte intendono quando un risultato è statisticamente significativo ma non "clinicamente significativo". Significano che un trattamento può essere migliore del placebo, ma la differenza è così marginale che non farebbe alcuna differenza per il paziente in un contesto clinico.

Un test di ipotesi (frequentista), precisamente, affronta la questione della probabilità dei dati osservati o qualcosa di più estremo sarebbe probabilmente presumendo che l'ipotesi nulla sia vera. Questa interpretazione è indifferente alla dimensione del campione. Tale interpretazione è valida se il campione è di dimensioni 5 o 1.000.000.

Un avvertimento importante è che il test è rilevante solo per errori di campionamento. Eventuali errori di misurazione, problemi di campionamento, copertura, errori di immissione dei dati, ecc. Non rientrano nell'ambito dell'errore di campionamento. All'aumentare della dimensione del campione, gli errori non di campionamento diventano più influenti in quanto piccole partenze possono produrre scostamenti significativi dal modello di campionamento casuale. Di conseguenza, i test di significato diventano meno utili.

Questo non è in alcun modo un'accusa di test di significatività. Tuttavia, dobbiamo stare attenti alle nostre attribuzioni. Un risultato può essere statisticamente significativo. Tuttavia, dobbiamo essere cauti su come facciamo le attribuzioni quando la dimensione del campione è grande. Tale differenza è dovuta al nostro processo di generazione ipotizzato rispetto a un errore di campionamento o è il risultato di una serie di possibili errori non di campionamento che potrebbero influenzare la statistica del test (che la statistica non tiene conto)?

Un'altra considerazione con campioni di grandi dimensioni è il significato pratico di un risultato. Un test significativo potrebbe suggerire (anche se possiamo escludere un errore non di campionamento) una differenza che è banale in senso pratico. Anche se tale risultato è improbabile dato il modello di campionamento, è significativo nel contesto del problema? Dato un campione abbastanza grande, una differenza di pochi dollari potrebbe essere sufficiente per produrre un risultato statisticamente significativo quando si confronta il reddito tra due gruppi. È importante in qualche senso significativo? Il significato statistico non sostituisce il buon senso e la conoscenza della materia.

A parte questo, il nulla non è né vero né falso. È un modello. È un presupposto. Partiamo dal presupposto che il valore nullo è vero e valutiamo il nostro campione in termini di tale presupposto. Se il nostro campione sarebbe improbabile dato questo presupposto, riponiamo maggiore fiducia nella nostra alternativa. Mettere in dubbio se un nulla sia mai vero nella pratica è un fraintendimento della logica del test di significatività.

Un semplice punto non posto direttamente in un'altra risposta è che semplicemente non è vero che "tutte le ipotesi nulle sono false".

La semplice ipotesi che una moneta fisica abbia una probabilità di testa esattamente uguale a 0,5, ok, è falsa.

$\alpha$

$\alpha$

In un certo senso, [tutte] molte ipotesi nulle sono [sempre] false (il gruppo di persone che vivono in case con numeri dispari non guadagna esattamente esattamente lo stesso media del gruppo di persone che vivono in case con numeri pari).

$T_{\alpha}n^{-0.5}$$T_{\alpha}$$\alpha$$n$

Questo non è un difetto dei test statistici. Semplicemente una conseguenza del fatto che senza ulteriori informazioni (un precedente) abbiamo che un gran numero di piccole incongruenze con il nulla devono essere prese come prove contro il nulla. Non importa quanto siano insignificanti queste incongruenze.

$\hat{P}(|\bar{\mu}_1-\bar{\mu}_2|^2>\eta|\eta, X)$

La risposta breve è "no". La ricerca sui test di ipotesi nel regime asintotico di infinite osservazioni e ipotesi multiple è stata molto, molto attiva negli ultimi 15-20 anni, a causa dei dati di microarray e delle applicazioni di dati finanziari. La lunga risposta è nella pagina del corso di Stat 329, "Inferenza simultanea su larga scala", insegnata nel 2010 da Brad Efron. Un capitolo completo è dedicato alla verifica di ipotesi su larga scala.

I test di ipotesi per dati di grandi dimensioni dovrebbero tenere conto del livello di differenza desiderato, piuttosto che se vi sia o meno una differenza. Non ti interessa H0 che la stima sia esattamente 0. Un approccio generale sarebbe quello di verificare se la differenza tra l'ipotesi nulla e il valore osservato sia maggiore di un dato valore di cut-off.

$\bar{X_1} > \bar{X_2}$

$H_0:\bar{X1}-\bar{X2} = \delta$

$H_A$$\bar{X1}-\bar{X2} > \delta$

mod.test <- function(x1,x2,dif,...){
    avg.x1 <- mean(x1)
    avg.x2 <- mean(x2)
    sd.x1 <- sd(x1)
    sd.x2 <- sd(x2)

    sd.comb <- sqrt((sd.x1^2+sd.x2^2)/2)
    n <- length(x1)
    t.val <- (abs(avg.x1-avg.x2))*sqrt(n)/sd.comb
    ncp <- (dif*sqrt(n)/sd.comb)
    p.val <- pt(t.val,n-1,ncp=ncp,lower.tail=FALSE)
    return(p.val)
}

n <- 5000

test1 <- replicate(100,
  t.test(rnorm(n),rnorm(n,0.05))$p.value)
table(test1<0.05)
test2 <- replicate(100,
  t.test(rnorm(n),rnorm(n,0.5))$p.value)
table(test2<0.05)

test3 <- replicate(100,
   mod.test(rnorm(n),rnorm(n,0.05),dif=0.3))
table(test3<0.05)

test4 <- replicate(100,
   mod.test(rnorm(n),rnorm(n,0.5),dif=0.3))
table(test4<0.05)

Che dà :

> table(test1<0.05)
FALSE  TRUE 
   24    76 

> table(test2<0.05)
TRUE 
 100 

> table(test3<0.05)
FALSE 
  100 

> table(test4<0.05)
TRUE 
 100 

"Significa che il test delle ipotesi è inutile per grandi serie di dati?"

No, non significa questo. Il messaggio generale è che le decisioni prese dopo aver condotto un test di ipotesi dovrebbero sempre tenere conto della dimensione stimata dell'effetto e non solo del valore p. In particolare, negli esperimenti con campioni di dimensioni molto grandi, questa necessità di considerare la dimensione dell'effetto diventa drammatica. Naturalmente, in generale, agli utenti non piace questo perché la procedura diventa meno "automatica".

Considera questo esempio di simulazione. Supponiamo di avere un campione casuale di 1 milione di osservazioni da una distribuzione normale standard,

n <- 10^6
x <- rnorm(n)

$0.01$

y <- rnorm(n, mean = 0.01)

$95\%$$2.5\times 10^{-14}$

t.test(x, y)

        Welch Two Sample t-test

data:  x and y
t = -7.6218, df = 1999984, p-value = 2.503e-14
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.013554059 -0.008009031
sample estimates:
   mean of x    mean of y 
0.0008947038 0.0116762485

$95\%$$[-0.013, -0.008]$

Una differenza tra le due popolazioni significa che questo ordine di grandezza è rilevante per il particolare problema che stiamo studiando o no?

$H_{ST}:d_{1}=1.23,d_{2}=1.11,\dots$$d_{i}$

Ma di solito non si è interessati a queste ipotesi certe cose. Se pensi a cosa vuoi effettivamente fare con il test di ipotesi, riconoscerai presto che dovresti rifiutare l'ipotesi nulla se hai qualcosa di meglio con cui sostituirla. Anche se il tuo null non spiega i dati, è inutile buttarli via, a meno che tu non abbia una sostituzione. Ora sostituiresti sempre il nulla con l'ipotesi "cosa certa"? Probabilmente no, perché non puoi usare queste ipotesi di "cosa certa" per generalizzare oltre il tuo set di dati. Non è molto più che stampare i tuoi dati.

Quindi, ciò che dovresti fare è specificare l'ipotesi su cui ti interesserebbe effettivamente agire se fossero vere. Quindi fai il test appropriato per confrontare quelle alternative tra loro - e non per qualche irrilevante classe di ipotesi che sai essere false o inutilizzabili.

$H_{0}:\mu=0$$H_{1}:\mu\in\{\pm 1,\pm 2,\pm 3,\pm 4,\pm 5,\pm 6\}$$0.5$$100$

La conclusione è fondamentalmente che devi specificare il tuo spazio di ipotesi - quelle ipotesi a cui sei realmente interessato. Sembra che con i big data, questo diventi una cosa molto importante da fare, semplicemente perché i tuoi dati hanno così tanto potere risolutivo. Sembra anche importante confrontare come ipotesi - punto con punto, composto con composto - per ottenere risultati ben educati.

No. È vero, tutti i test di ipotesi puntuali utili sono coerenti e quindi mostreranno un risultato significativo se solo la dimensione del campione è abbastanza grande e sussistono effetti irrilevanti. Per ovviare a questo inconveniente del test delle ipotesi statistiche (già menzionato nella risposta di Gaetan Lion sopra), esistono test di pertinenza. Questi sono simili ai test di equivalenza ma ancora meno comuni. Per un test di rilevanza, è prespecificata la dimensione di un effetto minimo rilevante. Un test di pertinenza può basarsi su un intervallo di confidenza per l'effetto: se l'intervallo di confidenza e la regione di pertinenza sono disgiunti, è possibile rifiutare il valore nullo.

Tuttavia, van der Laan e Rose assumono nella loro affermazione che persino vere ipotesi nulle sono state testate negli studi. Se un'ipotesi nulla è vera, la propensione a rifiutare non è maggiore di quella alfa, specialmente nel caso di campioni di grandi dimensioni e persino non specificati, posso solo vedere che la distribuzione del campione è sistematicamente diversa dalla distribuzione della popolazione,

L'articolo che hai citato ha un punto valido, per quanto riguarda i test frequentist standard. Ecco perché testare una data dimensione dell'effetto è molto importante. Per illustrare, ecco un'anova tra 3 gruppi, in cui il gruppo B è leggermente diverso dal gruppo A e C. provalo in r:

treat_diff=0.001 #size of treatment difference
ns=c(10, 100, 1000, 10000, 100000, 1000000) #values for sample size per group considered
reps=10 #number of test repetitions for each sample size considered
p_mat=data.frame(n=factor(), p=double()) #create empty dataframe for outputs
for (n in ns){ #for each sample size
  for (i in c(1:reps)){ #repeat anova test ‘reps’ time
    treatA=data.frame(treatment="A", val=rnorm(n)) 
    treatB=data.frame(treatment="B", val=rnorm(n)+treat_diff) #this is the group that has the means slightly different from the other groups
    treatC=data.frame(treatment="C", val=rnorm(n))
    all_treatment=rbind(treatA, treatB, treatC)
    treatment_aov=aov(val~treatment, data=all_treatment)
    aov_summary=summary(treatment_aov)
    p=aov_summary[[1]][["Pr(>F)"]][1]
    temp_df=data.frame(n=n, p=p)
    p_mat=rbind(p_mat, temp_df)
  }
}

library(ggplot2)
p <- ggplot(p_mat, aes(factor(n), p))
p + geom_boxplot()

Come previsto, con un numero maggiore di campioni per test, la significatività statistica del test aumenta:

Penso che ciò significhi che si fa spesso un presupposto sulla densità di probabilità dell'ipotesi nulla che ha una forma "semplice" ma non corrisponde alla vera densità di probabilità.

Ora con piccoli set di dati, potresti non avere abbastanza sensibilità per vedere questo effetto ma con un set di dati abbastanza grande respingerai l'ipotesi nulla e concluderai che c'è un nuovo effetto invece di concludere che la tua ipotesi sull'ipotesi nulla è sbagliata.

$\alpha$

$H_0$$H_1$

La potenza aumenta con la dimensione del campione (tutte le altre cose uguali).

Ma l'affermazione che "Sappiamo che per campioni di dimensioni sufficientemente grandi, ogni studio, compresi quelli in cui è vera l'ipotesi nulla di nessun effetto, dichiarerà un effetto statisticamente significativo." non è corretto.