Cerco una vera illustrazione della citazione di Fisher su DoE

Il mio team e io vorremmo fare una presentazione ai non statistici dell'azienda circa l'utilità della progettazione degli esperimenti. Questi non statistici sono anche i nostri clienti e di solito non ci consultano prima di raccogliere i loro dati. Conosci alcuni esempi reali che illustrerebbero bene la famosa citazione di Fisher "Chiamare lo statista dopo l'esperimento potrebbe non essere altro che chiedergli di eseguire un esame post mortem: potrebbe solo essere in grado di dire cosa è morto l'esperimento di." ? Preferibilmente stiamo cercando un'illustrazione in un contesto industriale / farmaceutico / biologico. Pensiamo a un esempio di un'analisi statistica inconcludente che avrebbe potuto avere successo se fosse stata preliminarmente ben progettata, ma forse ci sono altre possibili illustrazioni.

Ho incontrato progetti in cui lo sperimentatore voleva testare tra gli effetti del soggetto ma il design era più adatto per gli effetti del soggetto.

Ad esempio, un esperimento consisteva in 8 ratti, quattro nella dieta A e quattro nella dieta B, e il peso del ratto veniva misurato ogni giorno per quattro settimane. Questo andava bene se erano interessati all'effetto temporale di ogni dieta, ma l'obiettivo era studiare le differenze nelle diete.

Hanno pensato misurando ogni ratto 28 volte che avevano molti dati, ma l'unità sperimentale per l'effetto della dieta era il ratto, che ne aveva solo 4 per ogni trattamento. Avrebbero potuto misurare i topi 10 volte al giorno ma non avrebbe fatto alcuna differenza, alla fine avevano bisogno di più topi.

Ho lavorato per un'organizzazione chiamata National Foundation for Celiac Awareness. L'organizzazione promuove la consapevolezza del pubblico nei confronti della malattia celiaca e fornisce una lista di controllo dei sintomi della malattia che comporta intolleranza agli alimenti contenenti glutine. Hanno condotto un sondaggio su Internet semplicemente aprendolo a chiunque volesse partecipare. Nel corso degli anni hanno raccolto migliaia di risposte dal pubblico. Tuttavia speravano di trarre conclusioni sul grande pubblico in base ai risultati del sondaggio. Ho dovuto dire loro che gli intervistati erano autoselezionati piuttosto che casuali e questo poteva creare distorsioni. Dato che il grado di distorsione non è noto, non abbiamo potuto fare alcuna deduzione nonostante la grande quantità di dati.

Ora gli intervistati sembravano essere un gruppo peculiare. Molti sono molto seri e hanno risposto per esprimere la preoccupazione che loro o un parente potrebbero avere la malattia. Ma c'era anche un numero distinto di persone che rispondevano in modo saggio. Ciò era evidente dai nomi falsi, strani indirizzi e-mail e indirizzi postali che hanno fornito con le loro risposte.

Ho ritenuto che i dati fossero utili solo in senso esplorativo e che la frequenza delle risposte potesse essere utile per diffondere ipotesi che potrebbero essere verificate in un sondaggio futuro ben pianificato. Ma finora il mio consiglio non è stato seguito e stanno eseguendo un altro di questi facili sondaggi di auto-selezione su Internet.

Qualche tempo fa mi è stato chiesto di analizzare i risultati di un esperimento su come la posizione di stoccaggio notturno di un impianto solare fotovoltaico ha influenzato la velocità con cui il terreno si è accumulato sull'array. (Questi array fotovoltaici a grande concentrazione tracciano il sole tutto il giorno, ma di notte vengono generalmente memorizzati puntando verso l'alto, poiché questa è la posizione di stress minima per il tracker.) Lo sporco è un grosso problema, perché riduce significativamente la produzione di energia e la pulizia non è economico. L'esperimento era stato condotto su un campo di circa 120 tracker; la metà ovest era stata sistemata in verticale e la metà est in orizzontale (questo allineato con le connessioni del tracker ai due inverter, il che avrebbe portato un vantaggio nella produzione di energia durante l'esperimento se ci fosse un effetto significativo e nessun particolare schema di sporco altrimenti, quindi non è,

Sfortunatamente, c'è un forte schema di vento prevalente attraverso il deserto da sud-sud-ovest e un grande edificio a sud della parte occidentale del campo, "ombreggiando" (in qualche modo) gran parte della parte occidentale del campo da particelle soffiate dal vento . Inoltre, i tracker si "ombreggiano" a vicenda dal vento in una certa misura. Di conseguenza, i meccanismi con cui si accumula il suolo (ad esempio, soffiato dal vento o assestamento) variano di magnitudine relativa in tutto il campo. Questo a sua volta implica che gli array accumulano il suolo a velocità diverse a seconda della posizione; questo non è un piccolo effetto.

Il risultato finale dell'analisi era, in sostanza, che non era plausibile che la posizione di memorizzazione facesse la differenza, ma non potevamo, in alcun modo, escludere la possibilità che l'effetto fosse banale, né determinare con grande sicurezza (basato sui dati) il segno dell'effetto. Ho quindi progettato un esperimento di follow-up, assegnando le posizioni di archiviazione in base alla posizione dell'array con l'obiettivo di essere in grado di stimare la "superficie di risposta" sporca attraverso il campo per entrambe le posizioni di archiviazione, stimando i tassi di sporco "assestamento" vs "vento soffiato", e ovviamente l'effetto dell'angolo di memorizzazione su entrambi. Questo esperimento ha avuto un discreto successo e siamo riusciti a ottenere un quadro chiaro dei benefici dello stivaggio verticale dopo solo un paio di mesi.

Un collega mi ha chiesto di "fare le statistiche" in uno studio che esamina la correlazione tra un certo tipo di evento meteorologico e i guasti in un tipo di infrastruttura che sono generalmente attribuiti alla semplice usura. Il collega voleva vedere se gli eventi meteorologici stavano effettivamente contribuendo al fallimento o no. Un team di persone aveva già speso molto tempo e molti sforzi per raccogliere una grande quantità di dati e il documento di ricerca era praticamente finito, avevano solo bisogno di qualcuno che potesse "fare le statistiche" e compilare la parte finale della sezione dei risultati.

Il problema era che si erano assicurati scrupolosamente che il set di dati contenesse solo periodi "interessanti" in cui si era verificato l'evento meteorologico in questione. Ciò significava che non c'era modo di confrontare il tasso di fallimento durante gli eventi con i tempi non di evento. Ho cercato ripetutamente di spiegare il problema, ma non sono mai stati davvero convinti, perché semplicemente avevano così tanti dati che sicuramente avrei potuto ricavarne qualcosa.

Fortunatamente c'era ancora una serie di gravità degli eventi meteorologici e c'era una debole corrispondenza tra la gravità e il tasso di fallimento, quindi abbiamo recuperato qualcosa da esso almeno, ma il risultato avrebbe potuto essere molto più definitivo se avessero pensato a come "esegui le statistiche" prima di iniziare l'esercizio di raccolta dei dati.