Diviso tra PET-PEESE e approcci multilivello alla meta-analisi: esiste un mezzo felice?

Attualmente sto lavorando a una meta-analisi, per la quale ho bisogno di analizzare più dimensioni di effetto nidificate all'interno dei campioni. Sono parziale dell'approccio di meta-analisi a tre livelli di Cheung (2014) alla meta-analisi delle dimensioni degli effetti dipendenti, al contrario di alcune delle altre possibili strategie (ad esempio, ignorare la dipendenza, fare la media delle dimensioni degli effetti negli studi, selezionare una dimensione dell'effetto, o spostando l'unità di analisi). Molte delle mie dimensioni di effetti dipendenti sono correlazioni che coinvolgono variabili abbastanza distintive (ma attualmente correlate), quindi la media tra loro non ha senso concettuale e, anche se lo facesse, ridurrebbe il mio numero di dimensioni di effetti totali da analizzare di quasi la metà.

Allo stesso tempo, tuttavia, sono anche interessato a utilizzare il metodo di Stanley & Doucouliagos (2014) per affrontare il bias della pubblicazione nel corso della stima di un effetto meta-analitico. In poche parole, uno si adatta a un modello di meta-regressione che prevede le dimensioni dell'effetto di studio in base alle rispettive varianze (test dell'effetto di precisione o PET) o ai rispettivi errori standard (la stima dell'effetto di precisione con errori standard o PEESE). A seconda del significato dell'intercettazione nel modello PET, si usa l'intercettazione dal modello PET (se l'intercettazione PET p > .05) o il modello PEESE (se l'intercettazione PET p <.05) come pubblicazione stimata- dimensione dell'effetto medio senza distorsioni.

Il mio problema, tuttavia, deriva da questo estratto di Stanley & Doucouliagos (2014):

Nelle nostre simulazioni, l'eterogeneità in eccesso inspiegabile è sempre inclusa; pertanto, secondo la prassi convenzionale, REE [stimatori di effetti casuali] dovrebbe essere preferito rispetto alla FEE [stimatori di effetti fissi]. Tuttavia, la pratica convenzionale è sbagliata quando c'è la selezione della pubblicazione. Con la selezione per significato statistico, REE è sempre più distorto rispetto a FEE (Tabella 3). Questa prevedibile inferiorità è dovuta al fatto che REE è essa stessa una media ponderata della media semplice, che ha la maggiore propensione alla pubblicazione e FEE.

Questo passaggio mi porta a credere che non dovrei usare PET-PEESE in modelli meta-analitici di effetti casuali / effetti misti, ma un modello meta-analitico multilivello sembrerebbe richiedere uno stimatore di effetti casuali.

Sono lacerato su cosa fare. Voglio essere in grado di modellare tutte le mie dimensioni di effetto dipendente, ma allo stesso tempo sfruttare questo particolare metodo di correzione per la tendenza alla pubblicazione. C'è un modo per me di integrare legittimamente la strategia di meta-analisi a 3 livelli con PET-PEESE?

Riferimenti

Cheung, MWL (2014). Modellazione delle dimensioni degli effetti dipendenti con meta-analisi a tre livelli: un approccio alla modellazione di equazioni strutturali. Metodi psicologici , 19 , 211-229.

Stanley, TD e Doucouliagos, H. (2014). Approssimazioni di meta-regressione per ridurre la distorsione della selezione delle pubblicazioni. Metodi di sintesi della ricerca , 5 , 60-78.

Ho lavorato su una meta-analisi seguendo principalmente l'approccio Cheung (ma non i 3 livelli) e recentemente mi sono imbattuto nell'approccio PET-PEESE per correggere i pregiudizi della pubblicazione. Sono stato anche incuriosito dalle combinazioni dei due approcci. Finora la mia esperienza. Penso che ci siano due modi per affrontare il tuo problema. Uno semplice e uno più complicato.

La citazione seguente sembra suggerire che gli effetti casuali esacerbano il pregiudizio della pubblicazione, quindi a me sembra che se sospetti che il bias della pubblicazione sia un problema, non puoi semplicemente usare un modello di effetti casuali.

Con la selezione per significato statistico, REE è sempre più distorto rispetto a FEE (Tabella 3). Questa prevedibile inferiorità è dovuta al fatto che REE è essa stessa una media ponderata della media semplice, che ha la maggiore propensione alla pubblicazione e FEE.

Presumo che il pregiudizio alla pubblicazione sia una seria preoccupazione.

Approccio semplice: modellare l'eterogeneità in PET-PEESE

Se ho capito correttamente le domande, penso che questo approccio sia il punto di partenza più pragmatico.

L'approccio PET-PEESE si presta alle estensioni alle regressioni meta-analitiche. Se la fonte dell'eterogeneità deriva principalmente dalle diverse variabili nelle dimensioni dell'effetto rispetto a quelle che è possibile modellare l'eterogeneità come effetti fissi includendo le variabili indicatore (1/0) per ogni variabile *. Inoltre, se sospetti che alcune variabili abbiano proprietà di misurazione migliori o siano più vicine al tuo costrutto di interesse, potresti voler dare un'occhiata allo stile di meta-analisi di Hunter e Schmidt. Propongono alcune correzioni per l'errore di misurazione.

Questo approccio probabilmente ti darebbe un'idea iniziale delle dimensioni della distorsione della pubblicazione attraverso le intercettazioni PET e PEESE e dell'eterogeneità basata sulla varianza degli effetti fissi.

L'approccio più complicato: eterogeneità del modello e orientamento alla pubblicazione esplicito

Voglio dire che modelli esplicitamente il verificarsi di una distorsione della pubblicazione secondo il documento di Stanley e Doucouliagos. Devi anche scrivere esplicitamente i tre livelli di Cheung come effetti casuali. In altre parole, questo approccio richiede di specificare tu stesso la probabilità e sarebbe probabilmente un contributo metodologico in sé.

Penso che sia possibile specificare tale probabilità (con i priori appropriati) seguendo un approccio gerarchico di Bayes a Stan e usare le stime posteriori. Il manuale ha una breve sezione sulla meta-analisi. L'elenco degli utenti è anche molto utile.

Il secondo approccio è probabilmente eccessivo per quello che vuoi in questa fase, ma probabilmente sarebbe più corretto del primo approccio. E sarei interessato a sapere se funziona.

* Se hai molte variabili (e non molte dimensioni dell'effetto) di quanto potrebbe essere meglio raggruppare variabili simili in gruppi (sì, si tratta di una chiamata di giudizio) e utilizzare variabili indicatore di gruppo.