Perché trovare piccoli effetti in studi di grandi dimensioni indica una tendenza alla pubblicazione?


32

Diversi articoli metodologici (ad es. Egger et al 1997a, 1997b) discutono i pregiudizi della pubblicazione come rivelati dalle meta-analisi, usando grafici a imbuto come quello qui sotto. Trama imbuto di beta-bloccanti nell'infarto del miocardio

Il documento del 1997b prosegue affermando che "se è presente un pregiudizio alla pubblicazione, si prevede che, tra gli studi pubblicati, i più grandi riferiranno gli effetti più piccoli". Ma perché? Mi sembra che tutto ciò proverebbe è ciò che già sappiamo: piccoli effetti sono rilevabili solo con campioni di grandi dimensioni ; pur non dicendo nulla degli studi che sono rimasti inediti.

Inoltre, il lavoro citato afferma che l'asimmetria che è visivamente valutata in un diagramma a imbuto "indica che vi era una non pubblicazione selettiva di studi più piccoli con un beneficio meno considerevole". Ma, ancora una volta, non capisco come le caratteristiche degli studi che sono stati pubblicati possano dirci qualcosa (ci permettono di fare inferenze) su opere che non sono state pubblicate!

Riferimenti
Egger, M., Smith, GD e Phillips, AN (1997). Meta-analisi: principi e procedure . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., & Minder, C. (1997). Distorsione nella meta-analisi rilevata da un semplice test grafico . BMJ , 315 (7109), 629-634.


Non penso che tu abbia questo nel modo giusto. Forse la risposta a queste domande e risposte
mdewey,

7
Affinché un piccolo studio venga pubblicato, dovrà mostrare un grande effetto, indipendentemente dalla reale dimensione dell'effetto.
einar

Risposte:


23

Le risposte qui sono buone, +1 a tutti. Volevo solo mostrare come questo effetto potesse apparire in termini di trama a imbuto in un caso estremo. Di seguito simulo un piccolo effetto come e disegno campioni di dimensioni comprese tra 2 e 2000.N(.01,.1)

I punti grigi nella trama non sarebbero stati pubblicati sotto un rigido regime . La linea grigia è una regressione della dimensione dell'effetto sulla dimensione del campione, compresi gli studi "valore p negativo", mentre quello rosso li esclude. La linea nera mostra il vero effetto.p<.05

Come puoi vedere, sotto la propensione alla pubblicazione c'è una forte tendenza per i piccoli studi a sopravvalutare le dimensioni degli effetti e per quelli più grandi a riportare le dimensioni degli effetti più vicine alla verità.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

Creato il 20-02-2019 dal pacchetto reprex (v0.2.1)


1
Ottimo punto, aiuta davvero a capirlo intuitivamente, grazie!
z8080,

2
+1 Questo grafico vale più di mille parole e riassume bene il problema. Questo tipo di distorsione può anche essere trovato quando la dimensione dell'effetto reale è 0.
Underminer

29

In primo luogo, dobbiamo pensare a cosa sia il "pregiudizio della pubblicazione" e come influenzerà ciò che effettivamente lo fa entrare nella letteratura.

Un modello abbastanza semplice per la distorsione della pubblicazione è che raccogliamo alcuni dati e, se , pubblichiamo. Altrimenti no. In che modo ciò influisce su ciò che vediamo in letteratura? Bene, per uno, garantisce che (supponendo che venga usata una statistica Wald). Ora, un punto è che se è veramente piccolo, allora è relativamente grande e un grandeè richiesto per la pubblicazione.p<0.05|θ^|/SE(θ^)>1.96nSE(θ^)|θ^|

Supponiamo ora che in realtà sia relativamente piccolo. Supponiamo di eseguire 200 esperimenti, 100 con campioni di dimensioni molto piccole e 100 con campioni di dimensioni davvero grandi. Si noti che su 100 esperimenti di dimensioni campione davvero ridotte, gli unici che verranno pubblicati dal nostro semplice modello di bias di pubblicazione sono quelli con valori elevati disolo per errore casuale . Tuttavia, nei nostri 100 esperimenti con campioni di grandi dimensioni, saranno pubblicati valori molto più piccoli di . Quindi, se gli esperimenti più grandi mostrano sistematicamente un effetto minore rispetto agli esperimenti più piccoli, ciò suggerisce che forseθ|θ^| θ | θ |θ^|θ| è in realtà significativamente più piccolo di quello che normalmente vediamo dagli esperimenti più piccoli che lo rendono effettivamente pubblicato.

Nota tecnica: è vero che entrambi hanno un grandee / o piccola porterà a . Tuttavia, poiché le dimensioni dell'effetto sono generalmente considerate relative alla deviazione standard del termine di errore, queste due condizioni sono sostanzialmente equivalenti.|θ^| S E ( θ ) p < 0.05SE(θ^)p<0.05


"Ora, un punto da sottolineare è che se è veramente piccolo, allora è relativamente grande ed è richiesto un grande per la pubblicazione." Questo non è, tecnicamente parlando, necessariamente vero: : se è molto piccolo, allora un piccolo può risultare anche per un campione di piccole dimensioni, giusto? EDIT: Oh aspetta! Leggi la frase di chiusura. :) +1S E ( θ )nSE(θ)S E ( θ ) = S D ( θ )|θ| SE(θ)SESE(θ)=SD(θ)nSE(θ)SE
Alexis,

19

Leggi questa affermazione in modo diverso:

Se non ci sono errori di pubblicazione, la dimensione dell'effetto dovrebbe essere indipendente dalla dimensione dello studio.

Cioè, se stai studiando un fenomeno, la dimensione dell'effetto è una proprietà del fenomeno, non del campione / studio.

Le stime della dimensione dell'effetto possono (e varieranno) variare tra gli studi, ma se esiste una dimensione dell'effetto decrescente sistematica con l'aumentare della dimensione dello studio , ciò suggerisce che ci sono pregiudizi. Il punto è che questa relazione suggerisce che ci sono ulteriori piccoli studi che mostrano dimensioni di effetto basse che non sono state pubblicate e che se fossero state pubblicate e quindi potessero essere incluse in una meta-analisi, l'impressione generale sarebbe che la dimensione dell'effetto fosse inferiore rispetto a quanto stimato dal sottogruppo di studi pubblicato.

La varianza delle stime sulla dimensione dell'effetto tra gli studi dipenderà dalla dimensione del campione, ma dovresti vedere un numero uguale di stime al di sotto e al di sopra a dimensioni del campione basse se non ci sono stati errori.


1
Ma è davvero corretto affermare che "Se non ci sono errori di pubblicazione, la dimensione dell'effetto dovrebbe essere indipendente dalla dimensione dello studio"? Questo vale ovviamente quando si fa riferimento al vero effetto sottostante, ma penso che si riferiscano all'effetto stimato. Una dimensione quale è dipendente dalle dimensioni studio (bias suggerendo) equivale ad una relazione lineare dal fatto che diagramma di dispersione (alta correlazione). Questo è qualcosa che personalmente non ho visto in nessun complotto di imbuto, anche se ovviamente molti di questi complotti hanno implicato l'esistenza di un pregiudizio.
z8080,

2
@ z8080 Hai ragione, solo se le stime di deviazione media e standard sono imparziali la dimensione dell'effetto stimata sarà completamente indipendente dalla dimensione dello studio se non ci sono errori di pubblicazione. Poiché la deviazione standard del campione è distorta, ci saranno alcuni errori nelle stime della dimensione dell'effetto, ma tale errore è piccolo rispetto al livello di errore degli studi a cui Egger et al. Nella mia risposta lo sto trattando come trascurabile, supponendo che la dimensione del campione sia abbastanza grande da rendere la stima della DS quasi imparziale, e quindi la considero indipendente dalla dimensione dello studio.
Bryan Krause,

2
@ z8080 La varianza delle stime della dimensione dell'effetto dipenderà dalla dimensione del campione, ma dovresti vedere un numero uguale di stime under e over a dimensioni del campione basse.
Bryan Krause,

2
"Le stime della dimensione dell'effetto possono (e varieranno) variare tra gli studi, ma se esiste una relazione sistematica tra la dimensione dell'effetto e la dimensione dello studio" Tale frase non è abbastanza chiara sulla differenza tra dipendenza e dimensione dell'effetto. La distribuzione della dimensione dell'effetto sarà diversa per la differenza della dimensione del campione, e quindi non sarà indipendente dalla dimensione del campione, indipendentemente dal fatto che ci sia pregiudizio. La distorsione è una direzione sistematica della dipendenza.
Accumulo

@Acccumulation La mia modifica risolve la mancanza di chiarezza che hai visto?
Bryan Krause,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.