Giustificazioni per un modello a effetti fissi vs effetti casuali nella meta-analisi

Ho letto diverse pubblicazioni che tentano di giustificare l'uso di un modello a effetti fissi con dichiarazioni sulla falsariga di "il modello a effetti fissi è stato scelto perché l'eterogeneità era bassa". Tuttavia, temo che potrebbe essere ancora un approccio inappropriato all'analisi dei dati.

Ci sono ragioni o pubblicazioni che discutono se e perché questo potrebbe essere un errore?

Nota: se si desidera una risposta rapida alla domanda sull'utilizzo del test di eterogeneità per prendere questa decisione, scorrere fino a " Quali giustificazioni sono ragionevoli? ".

Ci sono alcune giustificazioni (alcune più / meno ragionevoli di altre) che i ricercatori offrono per la loro selezione di una sintesi meta-analitica a effetti fissi contro effetti casuali. Questi sono discussi in libri introduttivi di meta-analisi, come Borenstein et al. (2009), Card (2011) e Cooper (2017).

Senza condannare o condannare nessuna di queste giustificazioni (ancora), includono:

Giustificazioni per la selezione del modello a effetti fissi

1. Semplicità analitica : alcune persone ritengono che il calcolo / interpretazione di un modello a effetti casuali sia al di là della loro comprensione statistica e quindi si attengano a un modello più semplice. Con il modello a effetto fisso il ricercatore deve solo stimare la variabilità delle dimensioni degli effetti causate da errori di campionamento. Nel bene e nel male, questa è una pratica pragmatica incoraggiata esplicitamente in Card (2011).

2. Precedenti convinzioni in Nessuna variabilità / moderatori a livello di studio : se un ricercatore ritiene che tutte le dimensioni degli effetti nel loro campione variano solo a causa dell'errore di campionamento e che non vi è alcuna variabilità sistematica a livello di studio (e quindi non ci sono moderatori) poco imperativo per adattarsi a un modello a effetti casuali. Penso che questa giustificazione e la prima a volte camminino di pari passo, quando un ricercatore si sente in sintonia con un modello a effetti casuali è al di là delle loro capacità, e quindi successivamente razionalizza questa decisione affermando, dopo il fatto che non prevedono alcuna vera eterogeneità a livello di studio.

3. Moderatori sistematici sono stati considerati in modo esauriente : alcuni ricercatori possono utilizzare un'analisi a effetto fisso dopo aver studiato e preso in considerazione tutti i moderatori a cui possono pensare. La logica di base qui è che una volta che un ricercatore ha tenuto conto di ogni fonte concepibile / significativa di variabilità a livello di studio, tutto ciò che può essere lasciato è l'errore di campionamento, e quindi un modello a effetti casuali sarebbe inutile.

4. Test di eterogeneità non significativa (cioè statistica )$Q$ : un ricercatore potrebbe sentirsi più a suo agio nell'adottare un modello a effetti fissi se non riesce a respingere il valore nullo di un campione omogeneo di dimensioni dell'effetto.
5. Intenzione di fare inferenze limitate / specifiche : i modelli a effetti fissi sono appropriati per parlare a modelli di effetti rigorosamente all'interno del campione di effetti. Un ricercatore potrebbe quindi giustificare l'adattamento di un modello a effetti fissi se si sente a proprio agio nel parlare solo di ciò che sta accadendo nel suo campione e non speculare su ciò che potrebbe accadere negli studi mancati dalla sua revisione o negli studi che seguono la sua revisione.

Giustificazioni per la selezione di un modello a effetti casuali

6. Credenza prioritaria nella variabilità / moderatori a livello di studio : contrariamente alla giustificazione 2. (a favore di modelli a effetti fissi), se il ricercatore prevede che ci sarà una quantità significativa di variabilità a livello di studio (e quindi moderazione), impostazione predefinita per specificare un modello a effetti casuali. Se vieni da un background psicologico (lo faccio), questo sta diventando un modo predefinito sempre più abituale / incoraggiato di pensare alle dimensioni degli effetti (ad esempio, vedi Cumming, 2014).

7. Test di eterogeneità significativa (cioè statistica )$Q$ : proprio come un ricercatore potrebbe utilizzare un test non significativo per giustificare la selezione di un modello a effetti fissi, così potrebbe anche utilizzare un test significativo (respingendo il valore nullo delle dimensioni degli effetti omogenei ) per giustificare il loro uso di un modello a effetti casuali.$Q$$Q$

8. Pragmatismo analitico : si scopre che, se si adatta un modello a effetti casuali e non c'è eterogeneità significativa (cioè, la non è significativa), si arriva a stime di effetti fissi; solo in presenza di una significativa eterogeneità queste stime cambieranno. Alcuni ricercatori potrebbero quindi scegliere un modello a effetti casuali che immagina che le loro analisi "funzioneranno" nel modo in cui dovrebbero, a seconda delle qualità dei dati sottostanti.$Q$

9. Intenzione di fare inferenze ampie / generalizzabili : a differenza dei modelli a effetti fissi, i modelli a effetti casuali concedono in licenza a un ricercatore di parlare (in una certa misura) al di là del proprio campione, in termini di modelli di effetti / moderazione che si manifesterebbero in una letteratura più ampia. Se questo livello di inferenza è desiderabile per un ricercatore, potrebbe quindi preferire un modello a effetti casuali.

Conseguenze della specifica del modello sbagliato

Sebbene non sia una parte esplicita della tua domanda, penso che sia importante sottolineare perché è importante che il ricercatore "faccia la cosa giusta" quando sceglie tra i modelli di meta-analisi a effetti fissi e ad effetti casuali: dipende in gran parte dalla stima precisione e potere statistico .

I modelli a effetti fissi sono più statisticamente potenti a rischio di produrre stime artificialmente precise; i modelli a effetti casuali sono meno statisticamente potenti, ma potenzialmente più ragionevoli se esiste una vera eterogeneità. Nel contesto dei test dei moderatori, i modelli a effetto fisso possono sottostimare l'entità della varianza dell'errore, mentre i modelli a effetti casuali possono sopravvalutare l'estensione della varianza dell'errore (a seconda che le loro assunzioni di modellazione siano soddisfatte o violate, vedi Overton, 1998). Ancora una volta, nella letteratura psicologica, c'è un crescente senso che il campo abbia fatto troppo affidamento su meta-analisi a effetti fissi e che quindi ci siamo illusi in un maggior senso di certezza / precisione nei nostri effetti (vedi Schmidt et al. ., 2009).

Quali giustificazioni sono ragionevoli?

Per rispondere direttamente alla tua particolare richiesta: alcuni (ad esempio, Borenstein et al., 2009; Card, 2001) cautela contro l'uso della statistica del test di eterogeneità allo scopo di decidere se specificare un modello a effetti fissi o ad effetti casuali ( Motivazione 4. e Motivazione 7. ). Questi autori sostengono invece che dovresti prendere questa decisione principalmente per motivi concettuali (ovvero, la giustificazione 2. o la giustificazione 6. ). La fallibilità della statistica per questo scopo ha anche una certa quantità di senso intuitivo nel contesto di sintesi particolarmente piccole (o particolarmente grandi), in cui$Q$$Q$$Q$ è probabile che sia sotto-alimentato per rilevare una significativa eterogeneità (o sovraccaricato per rilevare quantità insignificanti di eterogeneità).

Semplicità analitica ( Motivazione 1. ) sembra un'altra giustificazione per i modelli a effetti fissi che difficilmente avrà successo (per motivi che ritengo più ovvi). Sostenere che tutti i possibili moderatori sono stati esauriti (la giustificazione 3. ), d'altra parte, potrebbe essere più convincente in alcuni casi, se il ricercatore può dimostrare di aver considerato / modellato una vasta gamma di variabili del moderatore. Se hanno codificato solo alcuni moderatori, questa giustificazione sarà probabilmente vista come piuttosto speculare / fragile.

Lasciare che i dati prendano la decisione tramite un modello predefinito di effetti casuali ( Giustificazione 8. ) è uno di cui mi sento incerto. Non è certamente una decisione attiva / di principio, ma unita allo spostamento del campo della psicologia verso la preferenza di modelli a effetti casuali come impostazione predefinita, può rivelarsi una giustificazione accettabile (anche se non particolarmente ponderata).

Ciò lascia giustificazioni relative alle precedenti convinzioni sulla distribuzione o sugli effetti ( giustificazione 2. e giustificazione 6. ) e su quelle relative ai tipi di inferenze che il ricercatore desidera ottenere con licenza ( giustificazione 5. e giustificazione 9.). La plausibilità delle precedenti credenze sulla distribuzione degli effetti dipenderà in gran parte dalle caratteristiche della ricerca che state sintetizzando; come osserva Cooper (2017), se si stanno sintetizzando effetti di processi meccanicistici / universali, raccolti da contesti / campioni in gran parte simili e in ambienti strettamente controllati, un'analisi a effetti fissi potrebbe essere del tutto ragionevole. Sintetizzare i risultati delle repliche dello stesso esperimento sarebbe un buon esempio di quando questa strategia analitica potrebbe essere desiderabile (vedi Goh et al., 2016). Se, tuttavia, stai sintetizzando un campo in cui disegni, manipolazioni, misure, contesti e caratteristiche del campione differiscono un po ', sembra sempre più difficile sostenere che si sta studiando esattamentelo stesso effetto in ogni istanza. Infine, il tipo di inferenze che si desidera fare sembra una questione di preferenze / gusti personali, quindi non sono sicuro di come si inizierebbe a discutere contro / contro questa giustificazione fintanto che sembra concettualmente difendibile.

Riferimenti

Borenstein, M., Hedges, LV, Higgins, JPT e Rothstein, HR (2009). Introduzione alla meta-analisi . West Sussex, Regno Unito: Wiley.

Card, NA (2011). Meta-analisi applicata per la ricerca nelle scienze sociali. New York, NY: Guilford Press.

Cooper, H. (2017). Sintesi di ricerca e meta-analisi: un approccio graduale. Thousand Oaks, CA: Sage.

Cumming, G. (2014). Le nuove statistiche: perché e come. Psychological Science , 25 (1), 7-29.

Goh, JX, Hall, JA e Rosenthal, R. (2016). Mini meta-analisi dei tuoi studi: alcuni argomenti su Why e un primer su How. Bussola psicologia sociale e della personalità , 10 (10), 535-549.

Overton, RC (1998). Un confronto tra modelli a effetti fissi e misti (effetti casuali) per test di meta-analisi di effetti variabili moderatori. Metodi psicologici , 3 (3), 354-379.

Schmidt, FL, Oh, IS, e Hayes, TL (2009). Modelli di effetti fissi e casuali nella meta-analisi: proprietà del modello e confronto empirico delle differenze nei risultati. British Journal of Mathematical and Statistical Psychology , 62 (1), 97-128.

Chiedete in particolare riferimenti.

Il riferimento classico per questo è probabilmente l'articolo di Hedges e Vevea intitolato " Modelli a effetti fissi e casuali in meta-analisi ".

Se lavori nella salute, il capitolo pertinente del manuale di Cochrane è probabilmente una lettura essenziale e contiene molto buon senso. In particolare, suggerisce quando la meta-analisi non dovrebbe essere presa in considerazione e distingue chiaramente cosa fare dell'eterogeneità se non semplicemente adattando modelli di effetti casuali.