Perché trovare piccoli effetti in studi di grandi dimensioni indica una tendenza alla pubblicazione?

Diversi articoli metodologici (ad es. Egger et al 1997a, 1997b) discutono i pregiudizi della pubblicazione come rivelati dalle meta-analisi, usando grafici a imbuto come quello qui sotto.

Il documento del 1997b prosegue affermando che "se è presente un pregiudizio alla pubblicazione, si prevede che, tra gli studi pubblicati, i più grandi riferiranno gli effetti più piccoli". Ma perché? Mi sembra che tutto ciò proverebbe è ciò che già sappiamo: piccoli effetti sono rilevabili solo con campioni di grandi dimensioni ; pur non dicendo nulla degli studi che sono rimasti inediti.

Inoltre, il lavoro citato afferma che l'asimmetria che è visivamente valutata in un diagramma a imbuto "indica che vi era una non pubblicazione selettiva di studi più piccoli con un beneficio meno considerevole". Ma, ancora una volta, non capisco come le caratteristiche degli studi che sono stati pubblicati possano dirci qualcosa (ci permettono di fare inferenze) su opere che non sono state pubblicate!

Riferimenti
Egger, M., Smith, GD e Phillips, AN (1997). Meta-analisi: principi e procedure . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., & Minder, C. (1997). Distorsione nella meta-analisi rilevata da un semplice test grafico . BMJ , 315 (7109), 629-634.

Le risposte qui sono buone, +1 a tutti. Volevo solo mostrare come questo effetto potesse apparire in termini di trama a imbuto in un caso estremo. Di seguito simulo un piccolo effetto come e disegno campioni di dimensioni comprese tra 2 e 2000.$N(.01, .1)$

I punti grigi nella trama non sarebbero stati pubblicati sotto un rigido regime . La linea grigia è una regressione della dimensione dell'effetto sulla dimensione del campione, compresi gli studi "valore p negativo", mentre quello rosso li esclude. La linea nera mostra il vero effetto.$p < .05$

Come puoi vedere, sotto la propensione alla pubblicazione c'è una forte tendenza per i piccoli studi a sopravvalutare le dimensioni degli effetti e per quelli più grandi a riportare le dimensioni degli effetti più vicine alla verità.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Creato il 20-02-2019 dal pacchetto reprex (v0.2.1)}

In primo luogo, dobbiamo pensare a cosa sia il "pregiudizio della pubblicazione" e come influenzerà ciò che effettivamente lo fa entrare nella letteratura.

Un modello abbastanza semplice per la distorsione della pubblicazione è che raccogliamo alcuni dati e, se , pubblichiamo. Altrimenti no. In che modo ciò influisce su ciò che vediamo in letteratura? Bene, per uno, garantisce che (supponendo che venga usata una statistica Wald). Ora, un punto è che se è veramente piccolo, allora è relativamente grande e un grandeè richiesto per la pubblicazione.$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

Supponiamo ora che in realtà sia relativamente piccolo. Supponiamo di eseguire 200 esperimenti, 100 con campioni di dimensioni molto piccole e 100 con campioni di dimensioni davvero grandi. Si noti che su 100 esperimenti di dimensioni campione davvero ridotte, gli unici che verranno pubblicati dal nostro semplice modello di bias di pubblicazione sono quelli con valori elevati disolo per errore casuale . Tuttavia, nei nostri 100 esperimenti con campioni di grandi dimensioni, saranno pubblicati valori molto più piccoli di . Quindi, se gli esperimenti più grandi mostrano sistematicamente un effetto minore rispetto agli esperimenti più piccoli, ciò suggerisce che forse$\theta$$|\hat \theta|$ θ | θ |$\hat \theta$$|\theta|$ è in realtà significativamente più piccolo di quello che normalmente vediamo dagli esperimenti più piccoli che lo rendono effettivamente pubblicato.

Nota tecnica: è vero che entrambi hanno un grandee / o piccola porterà a . Tuttavia, poiché le dimensioni dell'effetto sono generalmente considerate relative alla deviazione standard del termine di errore, queste due condizioni sono sostanzialmente equivalenti.$|\hat \theta|$ S E ( θ ) p < 0.05$SE(\hat \theta)$$p < 0.05$

Leggi questa affermazione in modo diverso:

Se non ci sono errori di pubblicazione, la dimensione dell'effetto dovrebbe essere indipendente dalla dimensione dello studio.

Cioè, se stai studiando un fenomeno, la dimensione dell'effetto è una proprietà del fenomeno, non del campione / studio.

Le stime della dimensione dell'effetto possono (e varieranno) variare tra gli studi, ma se esiste una dimensione dell'effetto decrescente sistematica con l'aumentare della dimensione dello studio , ciò suggerisce che ci sono pregiudizi. Il punto è che questa relazione suggerisce che ci sono ulteriori piccoli studi che mostrano dimensioni di effetto basse che non sono state pubblicate e che se fossero state pubblicate e quindi potessero essere incluse in una meta-analisi, l'impressione generale sarebbe che la dimensione dell'effetto fosse inferiore rispetto a quanto stimato dal sottogruppo di studi pubblicato.

La varianza delle stime sulla dimensione dell'effetto tra gli studi dipenderà dalla dimensione del campione, ma dovresti vedere un numero uguale di stime al di sotto e al di sopra a dimensioni del campione basse se non ci sono stati errori.