Come rilevare quale è lo studio migliore quando ti danno risultati contrastanti?

Spesso si incontrano sulla stampa vari studi che concludono risultati direzionalmente opposti. Questi possono essere correlati al test di un nuovo farmaco di prescrizione o al merito di un nutriente specifico o qualsiasi altra cosa per quella materia.

Quando due di questi studi giungono a risultati contrastanti, come puoi dire quale dei due è più vicino alla verità?

Penso che la risposta di Jeromy sia sufficiente se stai esaminando due studi sperimentali o una vera meta-analisi. Ma spesso ci troviamo di fronte all'esame di due studi non sperimentali e abbiamo il compito di valutare la validità di questi due risultati disparati.

Come suggerisce l' elenco delle domande della drogheria di Cyrus , l'argomento in sé non è suscettibile di una risposta breve, e in sostanza i libri interi sono essenzialmente volti a rispondere a tale domanda. Per chiunque sia interessato a condurre ricerche su dati non sperimentali, consiglio vivamente di leggere

Disegni sperimentali e quasi sperimentali per inferenza causale generalizzata di William R. Shadish, Thomas D. Cook, Donald Thomas Campbell (Ho anche sentito che le versioni precedenti di questo testo sono altrettanto buone).

Parecchi articoli citati da Jeromy (campioni di dimensioni maggiori e maggiore rigore metodologico), e tutto ciò che Cyrus menziona sarebbe considerato ciò che Campbell e Cook chiamano "Validità interna". Questi includono aspetti del progetto di ricerca e metodi statistici utilizzati per valutare la relazione tra X e Y. In particolare, come critici, siamo preoccupati per aspetti di entrambi che potrebbero influenzare i risultati e diminuire l'affidabilità dei risultati. Poiché si tratta di un forum dedicato all'analisi statistica, gran parte delle risposte sono incentrate su metodi statistici per garantire stime imparziali di qualsiasi relazione si stia valutando. Ma sono altri aspetti del progetto di ricerca non correlati all'analisi statistica che diminuiscono la validità dei risultati indipendentemente dalle lunghezze rigorose che si affrontano nella loro analisi statistica (come la menzione di Cyrus di diversi aspetti della fedeltà agli esperimenti può essere affrontata ma non risolta metodi statistici e se si verificano diminuiranno sempre la validità dei risultati degli studi). Ci sono molti altri aspetti della validità interna che diventano cruciali per valutare nel confronto dei risultati di studi non sperimentali che non sono menzionati qui, e aspetti dei progetti di ricerca che possono distinguere l'affidabilità dei risultati. Non penso sia abbastanza appropriato entrare in troppi dettagli qui,

Campbell e Cook fanno anche riferimento alla "validità esterna" degli studi. Questo aspetto del design della ricerca ha spesso una portata molto inferiore e non merita la stessa attenzione della validità interna. La validità esterna riguarda essenzialmente la generalizzabilità dei risultati, e direi che i laici possono spesso valutare la validità esterna ragionevolmente bene purché abbiano familiarità con l'argomento. Per farla breve, leggi il libro di Shadish, Cook e Campbell.

La letteratura sulla meta analisi è rilevante per la tua domanda. Utilizzando tecniche meta-analitiche è possibile generare una stima dell'effetto dell'interesse condiviso tra gli studi. Tali tecniche spesso ponderano gli studi in termini di dimensioni del campione.

Nel contesto della metanalisi i ricercatori parlano di effetti fissi e modelli di effetti casuali (vedi Hunter e Schmidt, 2002 ). Un modello a effetto fisso presuppone che tutti gli studi stiano valutando lo stesso effetto sulla popolazione. Un modello a effetti casuali presuppone che gli studi differiscano nell'effetto sulla popolazione che si sta stimando. Un modello a effetti casuali è in genere più appropriato.

Man mano che si accumulano più studi guardando una relazione particolare, diventano possibili approcci più sofisticati. Ad esempio, è possibile codificare gli studi in termini di varie proprietà, come la qualità percepita, e quindi esaminare empiricamente se la dimensione dell'effetto varia con queste caratteristiche dello studio. Al di là della qualità ci possono essere alcune differenze teoricamente rilevanti tra gli studi che modererebbero la relazione (ad esempio, caratteristiche del campione, livelli di dosaggio, ecc.).

In generale, tendo a fidarmi degli studi con:

• campioni di dimensioni maggiori
• maggior rigore metodologico
• un orientamento di conferma (ad esempio, non uno studio in cui hanno testato le correlazioni tra 100 diversi nutrienti e 50 risultati sanitari)
• assenza di conflitto di interessi (ad esempio, non da una società con un interesse commerciale a mostrare una relazione; non da un ricercatore che ha un incentivo a trovare un risultato significativo)

Ciò detto, è necessario mantenere campionamenti casuali e differenze teoricamente significative tra gli studi come spiegazione plausibile dei risultati di studi contrastanti.

Vorrei tenere a bada la considerazione della meta-analisi fino a quando non avrai esaminato le fonti in caso di potenziali pregiudizi o variazioni nelle popolazioni target. Se questi sono studi sugli effetti del trattamento, il trattamento è stato assegnato in modo casuale? Ci sono state deviazioni dal protocollo? C'è stata non conformità? Mancano dati sui risultati? I campioni sono stati estratti dalla stessa cornice? Si è rifiutato di partecipare? Errori di implementazione? Gli errori standard sono stati calcolati correttamente, tenendo conto del clustering e robusti rispetto a varie ipotesi parametriche? Solo dopo aver risposto a queste domande, penso che i problemi di meta-analisi inizino ad entrare nel quadro. Deve essere raro che per ogni due studi la meta-analisi sia appropriata, a meno che tu non sia disposto a fare ipotesi eroiche solide.