Senza la modellazione multilivello, come gestire la replica all'interno dello studio in una meta-analisi, in cui lo studio è l'unità di replica?

Descrizione dello studio:

Ho osservato un errore comune tra le meta-analisi, per quanto riguarda la gestione della replica all'interno dello studio. Non mi è chiaro se l'errore invalida gli studi quando vengono assunti presupposti. Tuttavia, a quanto ho capito, queste ipotesi violano una premessa di base delle statistiche.

Come esempio, uno studio verifica gli effetti della chimica sulla risposta . $X$ $Y$

L'analisi viene eseguita sul rapporto di risposta del log: il rapporto del trattamento (in presenza di ) per controllare (no ): $Y_{+X}$ $X$ $Y_{0}$ $X$

R = \ln (\frac{Y_{+ X}}{Y_{0}})

$R = \ln(\frac{Y_{+X}}{Y_{0}})$

Alcuni degli studi inclusi nella meta-analisi contengono molteplici trattamenti, ad esempio diversi livelli o forme chimiche di $X$ . Per ogni trattamento, esiste un valore diverso di $R$ , sebbene $R$ utilizzi sempre lo stesso valore di $Y_0$ .

I metodi indicano:

le risposte a diversi trattamenti (livelli e forme di $X$ ) all'interno di un singolo studio sono state considerate osservazioni indipendenti.

Domande:

Non è questa pseudoreplicazione?
È inappropriato anche se la violazione dell'indipendenza è dichiarata nei metodi?
Quale sarebbe un modo semplice (ad esempio nell'ambito della capacità di un semplice pacchetto software di meta-analisi) di gestire la replica dello studio?

Pensieri iniziali:

Riassumi i risultati di ogni studio, ad esempio prendendo la risposta media
Selezionare un solo trattamento per ciascuno studio in base a criteri a priori (ad es. Dose massima, prima misurazione)?

ci sono altre soluzioni?

repeated-measures meta-analysis

— David LeBauer
fonte

Questa è solo un'ipotesi, ma potresti voler controllare Kim / Becker 2010: Il grado di dipendenza tra le dimensioni degli effetti di più trattamenti ; Non ho letto l'articolo ma potrebbe essere correlato alla tua domanda.

— Bernd Weiss,

La meta-analisi fa davvero solo la media di tutti questi valori di differenza di R? Sembra piuttosto strano, rispetto ad esempio al tentativo di una meta-regressione - nel qual caso le differenze tra R a diversi livelli di X potrebbero essere ciò che ti interessa combinare tra gli studi.

— ospite

@guest sì, lo sono davvero; sarebbe interessante come i diversi livelli di X influenzino R, ma la domanda è posta semplicemente "c'è un effetto di X"? Potrebbe esserci un potere limitato per testare l'effetto di X su R, in questo contesto (risposta dell'ecosistema all'aggiunta di nutrienti), a causa della varietà di metodi e condizioni di studio.

— David LeBauer,

Hai ragione, è un problema. Non tanto con le stime puntuali, ma le misure di precisione (cioè gli errori standard) saranno troppo piccole; ignora l'uso multiplo dei dati del gruppo di controllo. Tuttavia, non dovrebbe essere una novità per nessuno nella meta-analisi. L'articolo di Kim / Becker sopra è fondamentalmente una re-dichiarazione - con riconoscimento - di Gleser & Olkin (1994). Dimensioni dell'effetto stocasticamente dipendenti. In Cooper & Hedges (Eds), Il manuale di sintesi della ricerca (pagg. 339–355). Questo libro è un testo standard nel campo, credo ora in una seconda edizione.

— ospite

Risposte:

Sì, è un problema perché esiste una dipendenza campionaria nelle risposte che deve essere presa in considerazione (anche se a volte l'effetto potrebbe essere trascurabile e violiamo sempre l'assunzione quando eseguiamo analisi statistiche). Esistono metodi per affrontarlo, un approccio è quello di includere le covarianze tra esperimenti correlati (blocchi off-diagonali) nella matrice varianza-covarianza errore (vedi ad esempio Hedges et al., 2010). Fortunatamente con i rapporti di registro questo è piuttosto facile. Puoi ottenere covarianze approssimative tra gli esperimenti perché la varianza (var) del log R è (se Yx e Y0 sono gruppi indipendenti): log Yx - log Y0, per seguire la notazione nella domanda, Yx riferendosi al gruppo sperimentale e Y0 il gruppo di controllo. La covarianza (cov) tra due valori (ad es. Trattamento 1 och trattamento 2) per log R è cov (loge Yx_1 - log Y0, log Yx_2 - log Y0), che equivale a var (log Y0), ed è calcolato come SD_Y0 / (n_Y0 * Y0), dove SD_Y0 è la deviazione standard di Y0, n_Y0 è la dimensione del campione nel trattamento di controllo e Y0 è il valore nel trattamento di controllo. Ora possiamo collegare l'intera matrice varianza-covarianza nel nostro modello invece di usare solo le varianze (ei) che è il modo classico di eseguire una meta-analisi. Un esempio di questo può essere trovato inLimpens et al. 2011 utilizzando il pacchetto metahdep in R (sul bioconduttore) o Stevens e Taylor 2009 per Hedge´s D.

Se vuoi mantenerlo molto semplice, sarei tentato di ignorare il problema e provare a valutare l'effetto della dipendenza dal campionamento (ad es. Quanti trattamenti ci sono negli studi? Come cambiano i risultati se uso solo un trattamento? Ecc.) .

— GGeco
fonte

Sì, questo è un problema.

Sì, è inappropriato anche se almeno è trasparente su ciò che sta facendo (ottiene punti per la trasparenza, ma non è ancora soddisfacente).

Dubito che esista un "modo semplice" per risolvere questo problema. Non so molto sugli approcci adottati per la meta-analisi, ma se esiste un software di meta-analisi specifico e ricerche come questa vengono prodotte usando e vengono pubblicate, questo potrebbe essere l'approccio comune. Entrambe le risposte proposte perdono una certa granularità delle informazioni di ogni studio (ovvero il problema opposto di quello che hanno fatto gli editori).

La soluzione ovvia è un modello a effetti misti (cioè multilivello) con lo studio come fattore casuale. Suggerirei di utilizzare un pacchetto statistico specializzato per questo se il software di meta-analisi non può farlo. È ancora possibile utilizzare il software di meta-analisi per l'archiviazione e l'elaborazione dei dati e semplicemente esportare i dati in R, Stata o SAS per l'analisi.

— Peter Ellis
fonte

Stavo pensando a studi clinici e mi chiedevo se andava bene nella situazione in cui una curva dose-risposta era il risultato, perché allora poteva confrontare le funzioni della curva. È una possibilità?

— Michelle,

Non penso che faccia molta differenza al problema che diversi risultati di uno studio saranno in qualche modo correlati e quindi non "nuove" informazioni. Ma la meta-analisi delle funzioni della curva sarebbe certamente possibile, a patto che tu abbia in qualche modo controllato la correlazione tra le varie stime di quelle curve. Se hanno tutti la stessa forma ed è solo una questione di stima dei parametri, dovrebbe essere possibile.

— Peter Ellis,

@Michelle Concordo con Peter: se stai riassumendo i parametri della curva, otterrai una stima dei parametri da ciascuna curva, e questo dovrebbe andare bene.

— Abe,