Quali esempi di variabili in agguato in esperimenti controllati ci sono nelle pubblicazioni?

In questo documento:

Variabili in agguato: alcuni esempi Brian L. Joiner The American Statistician Vol. 35, n. 4, novembre 1981, 227-233

Brian Joiner afferma che "la randomizzazione non è una panacea". Questo è in contrasto con affermazioni comuni come quella qui sotto:

Un esperimento ben progettato include funzionalità di progettazione che consentono ai ricercatori di eliminare le variabili estranee come spiegazione della relazione osservata tra le variabili indipendenti e la variabile dipendente. Queste variabili estranee sono chiamate variabili in agguato.

La citazione è stata presa da questa domanda e non ha una fonte, ma nella mia esperienza è rappresentativa dell'atteggiamento prevalente: esempi di variabili in agguato e osservazione influente

Un esempio è dato dal fatto che, testando la sicurezza (in particolare la carcinogenesi) del colorante alimentare rosso n. 40 sui roditori negli anni Settanta , si è scoperto che un effetto della posizione della gabbia confondeva lo studio. Ora ho letto molti articoli di riviste che studiano la carcinogenesi nei roditori e non ho mai visto nessuno riferire di controllare questo effetto.

Ulteriori discussioni su questi studi sono disponibili qui: Un caso di studio delle statistiche nel processo di regolamentazione: gli esperimenti FD&C Red No. 40.

Non sono riuscito a trovare una versione senza paywall ma ecco un estratto:

Alla riunione di gennaio, abbiamo presentato un'analisi preliminare (14) che ha rivelato una forte correlazione tra la fila di gabbie e i tassi di mortalità da RE (tumore reticolo-endoteliale), che variavano dal 17% (riga inferiore) al 32% (riga superiore) (tabella 2). Non abbiamo potuto spiegare questa forte associazione per sesso, gruppo di dosaggio, colonna o posizione. Un'analisi successiva (18) ha anche indicato che la posizione della gabbia (fronte e retro) potrebbe essere correlata con la mortalità non-RE e che la posizione era correlata con il tempo alla morte non-RE.

Sono particolarmente interessato al motivo per cui sembra esserci un tale problema con la replicazione nella letteratura medica, ma esempi da tutti i campi sarebbero benvenuti. Nota che sono interessato ad esempi di esperimenti controllati randomizzati, non a studi osservazionali.

Alcuni esempi della ricerca clinica potrebbero essere le variabili che sorgono dopo la randomizzazione: la randomizzazione non ti protegge da quelli. Alcuni dalla parte superiore della mia testa, che sono stati sollevati come possibilità o sono stati notati:

• Cambiamenti nel comportamento dopo la circoncisione maschile adulta volontaria per la prevenzione dell'HIV
• Perdita differenziale al follow-up tra trattamento e bracci di controllo di un RCT
• Un esempio più specifico potrebbe includere il recente studio "Vantaggi dell'abbigliamento e del guanto universali" che esamina la prevenzione delle infezioni acquisite in ospedale (il blog commenta qui , il documento è dietro un paywall). Oltre all'intervento, e potenzialmente a causa di ciò, sono cambiati sia i tassi di igiene delle mani sia i tassi di contatto tra pazienti e personale / visitatori.

La randomizzazione protegge da nessuno di questi effetti, perché insorgono dopo la randomizzazione.

Ecco un esempio che ho trovato per i dati di microarray. È stato riportato che l'espressione misurata è fortemente correlata alla posizione sui "chip". Questo è un caso in cui la randomizzazione della posizione dei campioni può comportare maggiori possibilità di commettere un errore di etichettatura, in modo che coloro che svolgono il lavoro tecnico possano scegliere di non randomizzare se non ritengono che sia importante.

L'assegnazione casuale di unità sperimentali ai trattamenti controlla la probabilità che qualsiasi fattore diverso dal trattamento sia la causa dell'associazione (1,2) ⁠. In alcune piattaforme di microarray come Illumina® e NimbleGenTM, più campioni biologici possono essere ibridati in un singolo chip. Gli effetti della posizione del chip e del campione possono influenzare l'accuratezza e la riproducibilità degli esperimenti di microarray a meno che nel progetto sperimentale non vengano presi in considerazione equilibrio e randomizzazione (4). Il nostro obiettivo era di confrontare l'impatto di questi effetti in un esperimento confuso e randomizzato.

Importanza della randomizzazione nei progetti sperimentali di microarray con piattaforme Illumina

Ricardo A. Verdugo, Christian F. Deschepper e Gary A. Churchill. The Jackson Laboratory, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Canada.

Ho un esempio che potrebbe essere in qualche modo diverso da quello che intendevi inizialmente quando hai posto questa domanda. L'ultimo o due anni hanno dato origine a una discussione in corso in psicologia sulla causa della mancanza di replicabilità degli effetti da esperimenti randomizzati. Versioni di questo dibattito sono emerse da molti anni, ma il dibattito è diventato più intenso dalla pubblicazione di un documento che mostra che molte pratiche che sono standard in psicologia nella formulazione di ipotesi, raccolta di dati, analisi dei dati e rendicontazione dei risultati consentire ai ricercatori di trovare risultati a supporto anche di ipotesi scelte arbitrariamente (nel documento originale, i ricercatori hanno usato queste pratiche per mostrare che l'ascolto di "When I'm Sixty-Four" dei Beatles ha reso le persone più giovani).

La radice del problema, ovviamente, sono le pervasive strutture di incentivazione in psicologia (e in altre scienze) per ottenere risultati nuovi, positivi e "pubblicabili". Questi incentivi incoraggiano i ricercatori a adottare pratiche che, pur non essendo ovviamente "sbagliate" come la fabbricazione di dati, portano comunque ad un aumento del tasso di risultati falsi positivi. Queste pratiche includono:

1. La raccolta di variabili dipendenti multiple e molto simili. Viene riportata solo la variabile dipendente che produce i risultati più coerenti con l'ipotesi originale.
2. Durante la raccolta dei dati, testare risultati significativi più volte e interrompere la raccolta dei dati quando si ottiene una significatività.
3. Durante l'analisi, l'inclusione di più covariate nel modello statistico. Nel documento finale, viene riportata solo la combinazione di covariate che porta a risultati più coerenti con l'ipotesi originale.
4. Eliminare le condizioni che portano a risultati incompatibili con le ipotesi originali e non riportare queste condizioni nel documento.

E così via.

Direi che la "variabile in agguato" in questi casi è la struttura di incentivazione che premia i ricercatori per ottenere risultati positivi e "pubblicabili". In effetti, ci sono già stati diversi risultati di alto profilo in psicologia (molti dei quali sono nella mia specialità, la psicologia sociale) che non sono riusciti a replicarsi. Questi fallimenti nel replicarsi, molti sostengono, mettono in dubbio interi sottocampi della psicologia.

Naturalmente, il problema delle strutture di incentivazione che incoraggiano i falsi positivi non è unico per la psicologia; questo è un problema endemico di tutta la scienza e quindi di tutte le prove controllate randomizzate.

Riferimenti

Simmons, JP, Nelson, LD e Simonsohn, U. (2011). Psicologia dei falsi positivi: la flessibilità non divulgata nella raccolta e nell'analisi dei dati consente di presentare qualcosa di così significativo. Scienze psicologiche , 17, 1359-1366.

Nosek, BA, Spies, JR, & Motyl, M. (2012). Utopia scientifica: II. Ristrutturazione di incentivi e pratiche per promuovere la verità sulla pubblicabilità. Perspectives on Psychological Science , 7, 615-631.

Yong, E. (2012). Copia non valida. Natura , 485, 298-300.

Abbott, A. (2013). I risultati contestati sono un nuovo colpo per la psicologia sociale. Natura , 497, 16.