Esempi di conseguenze costose derivanti dall'uso improprio di strumenti statistici

12

Ho il sospetto che la maggior parte degli utenti di strumenti statistici siano utenti ausiliari (persone che hanno avuto poca o nessuna formazione formale in statistica). È molto allettante per i ricercatori e altri professionisti applicare metodi statistici ai propri dati semplicemente perché l'hanno visto "fatto prima" in articoli sottoposti a revisione paritaria, letteratura grigia, web o durante una conferenza. Tuttavia, farlo senza una chiara comprensione delle ipotesi richieste e delle limitazioni dello strumento statistico può portare a risultati errati, errori spesso non riconosciuti!

Trovo che gli studenti universitari (in particolare nelle scienze sociali e naturali) non siano consapevoli delle insidie ​​statistiche o trovino insignificanti queste insidie ​​(quest'ultima è spesso il caso). Sebbene esempi di uso improprio di strumenti statistici si possano trovare in molti libri di testo introduttivi, sul web o su StackExchange, ho difficoltà a trovare esempi del mondo reale che hanno avuto risultati dannosi (ad es. Costo in $, vite influenzate e carriera persa) . A tal fine, sto cercando esempi reali che evidenzino l'uso improprio di metodi statistici per i quali:

  1. i metodi statistici utilizzati sono in genere coperti da corsi statistici introduttivi (ad es. statistiche inferenziali, regressioni, ecc.)
  2. il risultato finale ha avuto conseguenze costose (dollari persi, vite colpite, carriere distrutte, ecc ...)
  3. i dati sono prontamente disponibili per l'uso come esempi di lavoro in un corso (lo scopo è di far lavorare gli studenti attraverso esempi del mondo reale che hanno avuto conseguenze nel mondo reale).

Un esempio non statistico che mi piace far conoscere agli studenti quando si discute dell'importanza di definire correttamente le unità in un progetto di ricerca è il "contrattempo metrico" che ha portato alla perdita di un satellite da $ 125 milioni! Questo di solito invoca un fattore -o dagli studenti e sembra avere un'impressione duratura (almeno per tutta la loro breve vita accademica).

dataset  methodology 
— MannyG
fonte
2
Un altro esempio non statistico di Edward Tufte, Powerpoint fa Rocket Science . Sebbene sia un po 'più strettamente correlato alla progressione logica dal pensiero statistico in generale rispetto al contrattempo metrico che citi. Conosce anche questo libro, The Cult of Statistical Significance ?
— Andy W,
@AndyW, non ho familiarità con "The Cult of Statistical Significance". Sai se gli elementi 2 / e 3 / nella mia domanda sono trattati in quel libro?
— MannyG
Non ne conosco 3, ma se leggi la recensione del libro che ho collegato ad essa risponderebbe alla tua domanda 2 (o leggi il titolo rimanente del libro!) In effetti l'intero libro dovrebbe riguardare la tua domanda n. 2 in riferimento all'interpretazione dei test di significatività.
— Andy W,
@AndyW è il libro che stavo per menzionare.
— Peter Flom - Ripristina Monica
@AndyW, anche se la recensione che si collega fa riferimento a uno degli esempi del libro nel mondo reale di un uso improprio delle statistiche, non mi è chiaro se il costo consequenziale è affrontato. Se i costi consequenziali sono affrontati nel libro, si basano su analisi indipendenti o l'opinione soggettiva degli autori?
— MannyG

Risposte:

8

Non sono sicuro della disponibilità dei dati, ma un ottimo esempio (se questa è la parola giusta) di scarse statistiche è lo studio degli infermieri di Harvard sull'efficacia della terapia ormonale sostitutiva (TOS) nelle donne in menopausa.

Qual è l'idea generale? Lo studio degli infermieri ha suggerito che la terapia ormonale sostitutiva era benefica per le donne in post-menopausa. Risulta che questo risultato è emerso perché il gruppo di controllo era molto diverso dal gruppo di trattamento e queste differenze non erano state considerate nell'analisi. Nei successivi studi randomizzati, la TOS è stata collegata a tumori, infarto, ictus e coaguli di sangue. Con le opportune correzioni, lo studio degli infermieri rivela anche questi schemi.

Non riesco a trovare stime per i decessi negli Stati Uniti legati alla TOS, ma l'entità era di decine di migliaia. Un articolo collega 1000 decessi nel Regno Unito alla TOS.

Questo articolo del New York Times Magazine fornisce una buona base statistica dei problemi di confusione presenti nello studio.

C'è una discussione accademica in questo numero dell'American Journal of Epidemiology. Gli articoli confrontano i risultati dello studio delle infermiere osservazionali con quelli dell'Iniziativa per la salute delle donne, basati su studi randomizzati.

C'è anche una discussione (da parte di molte delle stesse persone) in un numero di Biometria Vedi il commento di Freedman e Petitti in particolare [ versione prepub ].

— Charlie
fonte
1
Discuterei contro l'uso di questo esempio in realtà. C'è stato più lavoro dal 2005, in particolare di Miguel Hernan, vedi Studi osservazionali analizzati come esperimenti randomizzati: un'applicazione per la terapia ormonale postmenopausale e la malattia coronarica , l'epidemiologia (2008). La conclusione: "In sintesi, i nostri risultati suggeriscono che le discrepanze tra le stime WHI e NHS ITT potrebbero essere ampiamente spiegate dalle differenze nella distribuzione del tempo dalla menopausa e dalla durata del follow-up. Confusione residua per l'effetto dell'inizio della terapia nel Il SSN sembra svolgere un ruolo secondario ".
— Fomite,
Indipendentemente da come ci si sente a proposito di tali studi, le differenze tra loro sono più complicate e più complicate di quanto sia probabilmente utile nell'impostazione proposta dal PO.
— Fomite,
@EpiGrad, Questo certamente non è il mio campo e sono sicuro che tu sappia di più su questo particolare esempio di me. Ma penso che il documento che citi evidenzi ciò che fanno quegli altri documenti. Nel documento OSALRE, espellono le donne dallo studio del SSN che non soddisfano i criteri dello studio WHI. La percentuale di donne scartate deve variare tra i gruppi di trattamento e controllo del SSN (altrimenti i risultati non cambieranno). Stanno così annullando il problema di selezione riscontrato nello studio del SSN. [[Continua]]
— Charlie,
1
Il documento che mi è piaciuto suggerisce, almeno per me, qualcosa di più sulla falsariga di "Assicurati di porre la stessa domanda" piuttosto che un problema di totale confusione. Non fraintendetemi, il problema NHS / WHI è estremamente interessante come una domanda di statistica e di salute pubblica. È solo più complesso di quanto il disaccordo iniziale sembri suggerire e penso che lo renda in qualche modo inappropriato per il punto 1 della richiesta del PO. Anche il punto 3 è subito chiaro.
— Fomite,
2
@EpiGrad, abbastanza giusto. Ma dubito seriamente che troverai uno studio che presenta un evidente errore statistico che non richiede alcuni scavi per capire che ha avuto conseguenze sostanziali e diffuse. Forse altri intervistati uccideranno il mio ottimismo nei ricercatori, però (eh).
— Charlie,
8

Un meraviglioso esempio storico è offerto dalla pubblicazione del 1933 del Trionfo della mediocrità negli affari di Horace Secrist . All'epoca, Secrist era uno statistico affermato, autore di un libro di testo (c. 1919, ricordo, ben collegato con l'American Statistical Association e capo di un gruppo di ricerca statistica presso la Northwestern University. Lui e il suo staff avevano trascorso il decennio precedente a compilare serie temporali di dati aziendali, che sono riprodotti e scrupolosamente analizzati nel libro. Doveva essere uno chef d'oeuvre da un ambizioso statistico.

La recensione del libro di Harold Hotelling , che apparve in JASA più tardi quell'anno, fece notare che Secrist aveva semplicemente documentato centinaia di esempi di regressione alla media (un argomento fondamentale in qualsiasi corso di statistica introduttiva oggi, punto 1 della domanda). Secrist obiettò in una risposta pubblicata. La risposta di Hotelling a questo è un classico:

"Dimostrare" un tale risultato matematico con uno studio numerico costoso e prolungato ... è analogo a provare la tabella di moltiplicazione disponendo gli elefanti in file e colonne, e poi facendo lo stesso per numerosi altri tipi di animali. La performance, sebbene forse divertente, e con un certo valore pedagogico, non è un contributo importante né alla zoologia né alla matematica.

[JASA v. 29 # 186, giugno 1934, pag. 199.]

Secrist sembra essersi sbiadito rapidamente dalla scena statistica poco dopo ("carriere rovinate", punto 2 nella domanda). Il suo libro è ancora disponibile. (Qualche anno fa ho ottenuto una bella copia pulita, ovviamente poco letta, attraverso il prestito interbibliotecario.) Da esso è possibile estrarre un numero qualsiasi di set di dati di esempio (punto 3 della domanda).

Steven Stigler racconta questa storia in un libro e un articolo, La storia della statistica nel 1933 .

— whuber
fonte
4

Mi sembra che la presa di Wired sul crollo del mercato azionario del 2008 potrebbe essere un esempio informativo. Non posso commentare se le sue conclusioni sono corrette o meno, ma l'idea di utilizzare correlazioni su dati che non sono un campione rappresentativo sembra qualcosa che potrebbe essere appropriato alle circostanze che suggerisci. È anche attuale e quindi potrebbe tenerli interessati.

— John Doucette
fonte
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.