Insidie ​​nella progettazione sperimentale: evitare esperimenti morti

Ho trovato questa citazione numerose volte:

Consultare lo statistico al termine di un esperimento è spesso semplicemente chiedergli di condurre un esame post mortem. Può forse dire di cosa è morto l'esperimento. - Ronald Fisher (1938)

A me sembra forse un po 'presuntuoso. Gli unici esempi che ho mai trovato descrivendo come muoiono gli esperimenti senza un buon design sono la mancanza di controlli o controlli scadenti. Ad esempio, esperimenti che controllano l'applicazione di un fertilizzante, ma non riescono a controllare l'ambiente richiesto per l'applicazione. Forse sono solo io, ma sembra che una rapida lettura della sezione Wikipedia sui principi di progettazione di Fisher coprirebbe la maggior parte delle basi.

Come statistico, con quale frequenza vedi la progettazione di problemi relativi agli esperimenti con i dati? Sono sempre in relazione con quei pochi fattori menzionati da Fisher, o ci sono altre gravi insidie ​​che noi scienziati non addestrati statisticamente dovremmo cercare?

Credo che il significato di Fisher nella sua famosa citazione vada oltre il dire "Faremo un disegno fattoriale completo per il nostro studio" o un altro approccio progettuale. Consultare uno statistico durante la pianificazione dell'esperimento significa pensare ad ogni aspetto del problema in modo intelligente, incluso l'obiettivo di ricerca, quali variabili sono rilevanti, come raccoglierle, gestione dei dati, insidie, valutazione intermedia di come procede l'esperimento e molto Di Più. Spesso, trovo che sia importante vedere tutti gli aspetti dell'esperimento proposto direttamente per capire veramente dove si trovano le difficoltà.

La mia esperienza proviene principalmente da applicazioni mediche. Alcuni dei problemi che ho riscontrato che avrebbero potuto essere prevenuti consultando preventivamente uno statistico:

• La dimensione del campione insufficiente è, ovviamente, il numero uno in questo elenco. Spesso, i dati di studi precedenti sarebbero stati disponibili e sarebbe stato facile fornire una stima ragionevole della dimensione del campione necessaria. In questi casi, l'unica soluzione è spesso fare un'analisi puramente descrittiva dei dati e promettere ulteriori ricerche nel documento (non pubblicare di solito non è un'opzione dopo che i medici hanno investito tempo prezioso).
• L'esecuzione degli esperimenti è lasciata alla convenienza e al caso anziché al design. Un esempio a cui sto attualmente lavorando ha le misurazioni raccolte nel tempo. I tempi di misurazione, la frequenza di misurazione e la fine del periodo di monitoraggio variano notevolmente tra gli individui. Aumentare il numero di misurazioni per individuo e fissare le date delle misurazioni e la fine del periodo di monitoraggio sarebbe stato un lavoro extra piuttosto limitato (in questo caso) e sarebbe stato molto utile per lo studio.
• Scarso controllo dei fattori di disturbo che avrebbero potuto essere facilmente controllati. Ad esempio, le misurazioni sono state talvolta eseguite il giorno della raccolta del campione e talvolta più tardi, lasciando la possibilità che il campione si fosse degradato.
• Cattiva gestione dei dati, incluso il mio preferito personale "Ho arrotondato i dati prima di metterli nel computer, perché la macchina non è precisa nelle sue misurazioni". Spesso, i dati rilevanti non vengono semplicemente raccolti ed è impossibile ottenerli dopo il fatto.

Spesso, i problemi con uno studio risalgono ancora più indietro, alla concezione iniziale della ricerca:

• I dati vengono talvolta raccolti senza un obiettivo chiaro e solo il presupposto che saranno utili in qualche modo. La produzione di ipotesi e "risultati significativi" è lasciata allo statistico.
• E il contrario: i dati vengono raccolti insieme allo scopo di dimostrare un punto specifico che l'IP ha in testa, indipendentemente dai dati e da ciò che può effettivamente essere dimostrato con esso. Questa volta, lo statistico dovrebbe solo mettere il suo segno di significato su conclusioni pre-scritte senza che le conclusioni vengano adattate alla luce dei dati.

Finora, questo suona principalmente come se lo statistico soffra e forse l'integrità scientifica soffre quando l'IP cerca di trarre conclusioni non supportate dai dati (sempre una discussione divertente). Ma anche il team sperimentale soffre, perché fa un lavoro extra inutile (mentre non fa il lavoro necessario) durante la fase sperimentale e ha bisogno di passare molto più tempo a discutere con il proprio statistico dopo il fatto, perché non hanno ricevuto i loro consigli prima. E, naturalmente, il documento finale sarà peggio, avrà meno conclusioni (e più "congetture") e probabilmente non entrerà in quel diario di grande impatto che l'IP voleva.

Due parole: Dimensione del campione ... Un'analisi di potenza è un must. Includendo uno statistico competente nella tua squadra sin dall'inizio, probabilmente ti risparmierai una grande frustrazione quando scrivi i risultati e le sezioni di discussione del tuo manoscritto o rapporto.

È fin troppo comune per un investigatore principale raccogliere dati prima di consultare uno statistico con le aspettative di un "modello predittivo" o di una "relazione causale" da un campione di meno di 30 soggetti. Se il PI avesse consultato uno statistico prima di raccogliere dati, lo statistico sarebbe stato in grado di informare il PI, dopo opportune analisi, di raccogliere più dati / soggetti o di ristrutturare gli obiettivi del loro piano / progetto di analisi.

Suppongo che dipenda da quanto rigorosamente interpreti la parola "design". Qualche volta si assume che significhi blocchi completamente randomizzati rispetto a blocchi randomizzati, ecc. Non penso di aver visto uno studio che è morto da quello. Inoltre, come altri hanno già detto, sospetto che "morto" sia troppo forte, ma dipende da come interpreti il ​​termine. Certamente ho visto studi "non significativi" (e che i ricercatori successivamente non hanno provato a pubblicare di conseguenza); partendo dal presupposto che questi studi avrebbero potuto essere "significativi" se condotti in modo diverso (secondo l'ovvio consiglio che avrei dato), e quindi pubblicati, potrebbero essere considerati "morti". Alla luce di questa concezione, la questione del potere sollevata da @RobHall e @MattReichenbach è piuttosto semplice, ma c'è più potenza che dimensioni del campione, e quelle potrebbero cadere in una concezione più libera di "design". Qui ci sono un paio di esempi:

• Non raccogliendo / registrando / o gettando via informazioni
  ho lavorato su uno studio in cui i ricercatori erano interessati a stabilire se un particolare tratto fosse correlato a un tumore. Hanno ottenuto topi da due linee (cioè, linee genetiche, i topi sono stati allevati per determinate proprietà) in cui una linea avrebbe dovuto avere più tratto dell'altra. Tuttavia, il tratto in questione non è stato effettivamente misurato, anche se avrebbe potuto essere. Questa situazione è analoga alla dicotomizzazione o al binning di una variabile continua, che riduce la potenza. Tuttavia, anche se i risultati fossero "significativi", sarebbero meno informativi che se conoscessimo l'entità del tratto per ciascun topo.

  Un altro caso all'interno di questa stessa rubrica non è pensare e raccogliere ovvie covariate.

• Scarsa progettazione del questionario Di
  recente ho lavorato a uno studio in cui è stato somministrato un sondaggio sulla soddisfazione dei pazienti in due condizioni. Tuttavia, nessuno degli oggetti è stato segnato il contrario. Sembrava che la maggior parte dei pazienti scendesse l'elenco e contrassegnasse tutti e 5 ( fortemente d'accordo ), possibilmente senza nemmeno leggere gli articoli. Ci sono stati altri problemi, ma questo è abbastanza ovvio. Stranamente, il responsabile incaricato di condurre lo studio mi ha detto che la sua partecipazione l'aveva esplicitamente incoraggiata a non veterinare prima lo studio con uno statistico, anche se siamo liberi e comodamente disponibili per tale consulenza.

Ho visto questo tipo di problema in esperimenti simili a sondaggi e psicologici.

In un caso, l'intero esperimento ha dovuto essere sottoposto a un'esperienza di apprendimento. Ci sono stati problemi a più livelli che hanno portato a un miscuglio di risultati, ma risultati che sembravano fornire un supporto per l'ipotesi. Alla fine, sono stato in grado di aiutare a pianificare un esperimento più rigoroso, che essenzialmente aveva abbastanza potere per respingere l'ipotesi.

Nell'altro caso, mi è stato consegnato un sondaggio che era già stato progettato ed eseguito e c'erano diversi problemi che hanno portato a colpire diverse aree di interesse. In un'area chiave, ad esempio, hanno chiesto quante volte i clienti sono stati allontanati da un evento a causa del fatto che era pieno quando sono arrivati. Il problema è che non c'è un intervallo di tempo sulla domanda, quindi non si può dire la differenza tra qualcuno che ha provato a partecipare 4 volte ed è stato respinto 4 volte e qualcuno che ha cercato di partecipare 40 volte ed è stato respinto solo 4 volte .

Non sono uno statistico esperto di capitale, ma se fossero venuti da me in anticipo, sarei stato in grado di aiutarli a risolvere questi problemi e ottenere risultati migliori. Nel primo caso, sarebbe stato comunque deludente "Scusate, la vostra ipotesi sembra estremamente improbabile", ma avrebbe potuto salvare loro un secondo esperimento. Nel secondo caso, avrebbe dato loro le risposte ad alcune domande importanti e avrebbe reso i risultati più nitidi. (Un altro problema che hanno avuto è che hanno esaminato più località nel tempo e almeno alcune persone sono state quindi esaminate più volte, senza domande come "Hai preso questo sondaggio altrove?")

Forse non di per sé problemi statistici, ma in entrambi i casi esperti di dominio intelligenti e ben istruiti hanno creato strumenti che erano difettosi, e i risultati sono stati un esperimento morto e un esperimento con arti amputati.