Pro e contro delle meta-analisi

Ho pensato di fare qualche meta-analisi per un particolare campo di studio in evoluzione, ma prima di andare oltre vorrei sapere; quali sono gli aspetti positivi e negativi del processo? Ad esempio, non c'è bisogno di un esperimento pratico è un vantaggio (tempo e denaro) ma ci sarà una propensione alla pubblicazione (risultati più interessanti vengono pubblicati) che sarebbe uno svantaggio.

Quali articoli nelle riviste statistiche discutono i pro ei contro della meta-analisi?

Introduzione alla Meta-analisi di Borenstein, Hedges, Higgins e Rothstein fornisce una discussione dettagliata dei pro e dei contro della meta-analisi. Vedi ad esempio il capitolo " Critiche alla meta-analisi " in cui gli autori rispondono a varie critiche alla meta-analisi. Prendo atto delle intestazioni di sezione per quel capitolo e quindi faccio alcune osservazioni dalla memoria relative a quel punto:

• "un numero non può riassumere un campo di ricerca": una buona meta analisi modellerà la variabilità in dimensioni di effetti reali e modellerà l'incertezza delle stime.
• "il problema del cassetto dei file invalida la meta-analisi": i grafici a imbuto e gli strumenti correlati consentono di vedere se la dimensione del campione è correlata alla dimensione dell'effetto al fine di verificare eventuali errori di pubblicazione. Buone meta-analisi si sforzano di ottenere studi non pubblicati. Questo problema è condiviso con studi narrativi.
• "Mescolare mele e arance": buone meta-analisi forniscono un rigoroso sistema di codifica per categorizzare gli studi inclusi e giustificare l'inclusione e l'esclusione degli studi nella meta-analisi. Dopo che gli studi sono stati classificati, è possibile eseguire l'analisi del moderatore per vedere se le dimensioni degli effetti variano in base al tipo di studio.
• "Gli studi importanti vengono ignorati": è possibile codificare per la qualità valutata degli studi. A campioni di grandi dimensioni può essere attribuita una maggiore ponderazione.
• "la meta-analisi può non essere d'accordo con studi randomizzati":
• "Le meta-analisi sono eseguite male": questo è semplicemente un argomento per migliorare gli standard dei metodi meta-analitici.
• "È meglio una recensione narrativa?": Molte delle critiche alla meta-analisi (ad esempio, la parzialità della pubblicazione) sono condivise dalle recensioni narrative. È solo che i metodi di inferenza sono meno espliciti e meno rigorosi nelle recensioni narrative.

Nella mia esperienza nel farli, se non sono mai stati fatti prima, come nel caso in cui tu non stia fornendo la tua svolta su un'area, i diari giusti non hanno pregiudizi nei loro confronti. Una meta-analisi non entrerà in Science ma nel tuo campo le buone riviste di solito vanno bene con nuove meta-analisi.

Il tempo e il costo risparmiati non facendo un esperimento vengono spesso consumati facendo altre cose. Uno dei più grandi è che molti articoli non riportano informazioni sufficienti per l'analisi. Spesso devi contattare gli autori per recuperarlo e sfortunatamente tutti spesso non possono o non si conformeranno alle richieste. È il più grande spreco di tempo del processo.

Hai anche perso alcuni professionisti come alti tassi di citazione. Se sei la prima e unica meta-analisi, i nuovi ricercatori citeranno molto spesso il tuo articolo. Un altro professionista è studi di follow-up relativamente facili. In un anno o due, in un campo di studio dinamico, devi semplicemente aggiungere i prossimi due anni di ricerca per seguire le meta-analisi. È relativamente facile cooptare meta-analisi in un'area di studio se sei il primo motore. Porta quindi a tassi di citazione relativamente alti.

Se sei preoccupato che i risultati che stai recuperando dalla letteratura abbiano una distorsione della pubblicazione, ci sono tecniche statistiche come grafici a imbuto (dimensioni dello studio (spesso -se) sull'asse y ed effetto sulla x) che possono essere usati per rilevare tale. Una letteratura imparziale su un argomento tenderà ad avere risultati simmetrici in una trama a imbuto, ma un effetto dovuto alla distorsione della pubblicazione sembrerà molto più simile a una metà della distribuzione. E a differenza degli esperimenti, scoprire che i dati inseriti in una meta-analisi sono distorti è pubblicabile.

Ho pensato di fare una critica alla "Critica della meta-analisi" con le scuse a Michael Borenstein e colleghi.

• "un numero non può riassumere un campo di ricerca": una buona meta analisi modellerà la variabilità in dimensioni di effetti reali e modellerà l'incertezza delle stime.

! La varianza è solo un altro riassunto forse fuorviante come l'incertezza ed entrambi saranno molto fuorvianti se i pregiudizi che sono quasi sicuramente non vengono affrontati esplicitamente.

• "il problema del cassetto dei file invalida la meta-analisi": i grafici a imbuto e gli strumenti correlati consentono di vedere se la dimensione del campione è correlata alla dimensione dell'effetto al fine di verificare eventuali errori di pubblicazione. Buone meta-analisi si sforzano di ottenere studi non pubblicati. Questo problema è condiviso con studi narrativi.

! Come disse Box una volta, come inviare una barca a remi per vedere se i mari sono abbastanza calmi da consentire alla Regina Maria di viaggiare. Processo di censura di potenza molto bassa e quasi sicuramente mal specificato .

• "Mescolare mele e arance": buone meta-analisi forniscono un rigoroso sistema di codifica per categorizzare gli studi inclusi e giustificare l'inclusione e l'esclusione degli studi nella meta-analisi. Dopo che gli studi sono stati classificati, è possibile eseguire l'analisi del moderatore per vedere se le dimensioni degli effetti variano in base al tipo di studio.

! Ancora una volta un potere senza speranza e anche una propensione all'aggregazione.

• "Gli studi importanti vengono ignorati": è possibile codificare per la qualità valutata degli studi. A campioni di grandi dimensioni può essere attribuita una maggiore ponderazione.

! Ora potenza senza speranza, errate specifiche del modello e distorsione non sempre adeguatamente spiegate per vedere Sulla distorsione prodotta dai punteggi di qualità nella meta-analisi

• "la meta-analisi può non essere d'accordo con studi randomizzati":

! Sono pienamente d'accordo e anche l'unica fonte della reale incertezza di essi.

• "Le meta-analisi sono eseguite male": questo è semplicemente un argomento per migliorare gli standard dei metodi meta-analitici.

! Pienamente d'accordo.

• "È meglio una recensione narrativa?": Molte delle critiche alla meta-analisi (ad esempio, la parzialità della pubblicazione) sono condivise dalle recensioni narrative. È solo che i metodi di inferenza sono meno espliciti e meno rigorosi nelle recensioni narrative.

! Pienamente d'accordo.

Non so perché gran parte della letteratura meta-analisi manichini come questi occhiali colorati di rosa - le meta-analisi devono essere fatte Meta-analisi nella ricerca medica: forte incoraggiamento per una maggiore qualità negli sforzi di ricerca individuale , ma dovrebbe essere fatto in modo critico con la piena consapevolezza di tutti i worts.

E, come quasi sempre dimentico, ho bisogno di chiarire cosa intendo esattamente per meta-analisi in quanto ciò che gli altri intendono significare è variato nel tempo e nel luogo e forse il significato più comune oggi - solo i metodi quantitativi utilizzati sui numeri estratti ottenuti in una revisione sistematica - non è quello che intendo. Intendo l'intero processo di revisione sistematica anche se si decide di non utilizzare alcun metodo quantitativo. O in una sola frase come citato nel wiki

In statistica, una meta-analisi si riferisce a metodi incentrati sul contrasto e sulla combinazione di risultati di diversi studi, nella speranza di identificare modelli tra i risultati dello studio, fonti di disaccordo tra tali risultati o altre relazioni interessanti che potrebbero venire alla luce nel contesto di studi multipli.