Quanto sappiamo di p-hacking "in the wild"?

La frase p -hacking (anche: "dragaggio dei dati" , "snooping" o "pesca") si riferisce a vari tipi di negligenza statistica in cui i risultati diventano artificialmente statisticamente significativi. Esistono molti modi per ottenere un risultato "più significativo", incluso ma non si limita affatto a:

• analizzando solo un sottoinsieme "interessante" dei dati , in cui è stato trovato un modello;
• non essere in grado di adattarsi correttamente per più test , in particolare test post-hoc e non riportare test effettuati che non erano significativi;
• provare diversi test della stessa ipotesi , ad esempio un test sia parametrico che non parametrico ( in questo thread ne è discusso ), ma riportando solo il più significativo;
• sperimentando l'inclusione / esclusione di punti dati , fino ad ottenere il risultato desiderato. Un'opportunità si presenta quando "valori anomali di pulizia dei dati", ma anche quando si applica una definizione ambigua (ad esempio in uno studio econometrico di "paesi sviluppati", definizioni diverse producono gruppi di paesi diversi) o criteri di inclusione qualitativa (ad esempio in una meta-analisi , può essere un argomento finemente equilibrato se la metodologia di un particolare studio sia sufficientemente solida da includere);
• l'esempio precedente riguarda l'interruzione facoltativa , ovvero l'analisi di un set di dati e la decisione se raccogliere più dati o meno in base ai dati raccolti finora ("questo è quasi significativo, misuriamo altri tre studenti!") senza tenere conto di questo nell'analisi;
• sperimentazione durante il model-fitting , in particolare delle covariate da includere, ma anche riguardo alla trasformazione dei dati / forma funzionale.

Quindi sappiamo che il p -hacking può essere fatto. È spesso elencato come uno dei "pericoli del valore p " ed è stato menzionato nel rapporto ASA sul significato statistico, discusso qui su Cross Validated , quindi sappiamo anche che è una cosa negativa. Sebbene siano evidenti alcune motivazioni dubbie e (in particolare nella competizione per la pubblicazione accademica) incentivi controproducenti, ho il sospetto che sia difficile capire bene perché sia fatto, che si tratti di negligenza deliberata o semplice ignoranza. Qualcuno riporta valori p da una regressione graduale (perché trova che le procedure graduali "producono buoni modelli", ma non sono a conoscenza della presunta p-values ​​are invalidated) è nell'ultimo campo, ma l'effetto è ancora p -hacking sotto l'ultimo dei miei punti elenco sopra.

Esistono certamente prove del fatto che p -hacking sia "là fuori", ad esempio Head et al (2015) cercano segni rivelatori che infettano la letteratura scientifica, ma qual è lo stato attuale della nostra base di prove al riguardo? Sono consapevole che l'approccio adottato da Head et al non è stato privo di controversie, quindi l'attuale stato della letteratura o il pensiero generale nella comunità accademica sarebbero interessanti. Ad esempio, abbiamo qualche idea su:

• Quanto è prevalente e fino a che punto possiamo differenziare la sua occorrenza dalla distorsione della pubblicazione ? (Questa distinzione è persino significativa?)
• L'effetto è particolarmente acuto al limite ? Si osservano effetti simili a p ≈ 0,01 , ad esempio, o vediamo intere gamme di valori p interessati?$p \approx 0.05$$p \approx 0.01$
• I modelli nel p -hacking variano tra campi accademici?
• Abbiamo idea di quali dei meccanismi di p -hacking (alcuni dei quali sono elencati nei punti elenco sopra) sono più comuni? Alcune forme si sono rivelate più difficili da rilevare rispetto ad altre perché sono "meglio mascherate"?

Riferimenti

Head, ML, Holman, L., Lanfear, R., Kahn, AT, & Jennions, MD (2015). La portata e le conseguenze del p -hacking nella scienza . PLoS Biol , 13 (3), e1002106.

SINTESI: se "p-hacking" è da intendersi in linea di massima alla sentieri che si biforcano di Gelman, la risposta a come prevalente è, è che è quasi universale.

Ad Andrew Gelman piace scrivere su questo argomento e ne ha postato ampiamente di recente sul suo blog. Non sono sempre d'accordo con lui, ma mi piace il suo punto di vista sul $p$ -hacking. Ecco un estratto dall'Introduzione al suo documento Garden of Forking Paths (Gelman & Loken 2013; una versione apparso su American Scientist 2014; vedi anche il breve commento di Gelman sulla dichiarazione dell'ASA), sottolineo il mio:

Questo problema viene talvolta chiamato "p-hacking" o "gradi di libertà dei ricercatori" (Simmons, Nelson e Simonsohn, 2011). In un recente articolo, abbiamo parlato di "spedizioni di pesca [...]". Ma stiamo iniziando a ritenere che il termine "pesca" sia stato sfortunato, in quanto richiama l'immagine di un ricercatore che prova un confronto dopo un confronto, gettando la lenza nel lago ripetutamente fino a quando un pesce viene afferrato. Non abbiamo motivo di pensare che i ricercatori lo facciano regolarmente. Riteniamo che la vera storia sia che i ricercatori possano eseguire un'analisi ragionevole alla luce delle loro ipotesi e dei loro dati, ma se i dati fossero risultati diversamente, avrebbero potuto fare altre analisi altrettanto ragionevoli in quelle circostanze.

Ci rammarichiamo della diffusione dei termini "pesca" e "p-hacking" (e persino "gradi di libertà dei ricercatori") per due ragioni: in primo luogo, perché quando tali termini vengono utilizzati per descrivere uno studio, vi è l'implicazione fuorviante che i ricercatori stavano provando consapevolmente molte analisi diverse su un singolo set di dati; e, in secondo luogo, perché può condurre i ricercatori che sanno di non aver provato molte analisi diverse a pensare erroneamente di non essere così fortemente soggetti a problemi di gradi di libertà dei ricercatori. [...] Il nostro punto chiave qui è che è possibile avere molteplici potenziali confronti, nel senso di un'analisi dei dati i cui dettagli sono altamente dipendenti dai dati, senza che il ricercatore esegua alcuna procedura consapevole di pesca o esaminando più valori p .

Quindi: Gelman non ama il termine p-hacking perché implica che le ricerche stessero tradendo attivamente. Considerando che i problemi possono verificarsi semplicemente perché i ricercatori scelgono quale test eseguire / riferire dopo aver esaminato i dati, cioè dopo aver fatto alcune analisi esplorative.

Con una certa esperienza di lavoro in biologia, posso tranquillamente dire che lo fanno tutti . Tutti (me compreso) raccolgono alcuni dati con solo vaghe ipotesi a priori, fanno approfondite analisi esplorative, eseguono vari test di significatività, raccolgono altri dati, eseguono e rieseguono i test e infine riportano alcuni valori $p$ nel manoscritto finale. Tutto questo accade senza imbrogliare attivamente, fare stupide raccolte di ciliegie in stile xkcd-jelly-bean o hackerare consapevolmente qualcosa.

Quindi, se "p-hacking" è da intendersi in linea di massima alla sentieri che si biforcano di Gelman, la risposta a come prevalente è, è che è quasi universale.

Le uniche eccezioni che vengono in mente sono studi di replicazione completamente preregistrati in psicologia o studi medici preregistrati.

Prove specifiche

In modo divertente, alcune persone hanno sondato i ricercatori per scoprire che molti ammettono di fare una sorta di hacking ( John et al. 2012, Misurare la prevalenza di pratiche di ricerca discutibili con incentivi per la verità ):

A parte questo, tutti hanno sentito parlare della cosiddetta "crisi della replicazione" in psicologia: più della metà dei recenti studi pubblicati nelle principali riviste di psicologia non si replicano ( Nosek et al. 2015, Stima della riproducibilità della scienza psicologica ). (Questo studio è stato recentemente ripreso in tutti i blog, a causa del numero di marzo 2016 di Science pubblicato un commento che tenta di confutare Nosek et al. E anche una risposta di Nosek et al. La discussione è proseguita altrove, vedi post di Andrew Gelman e il Post di RetractionWatch a cui si collega. Per dirla educatamente, la critica non è convincente.)

Aggiornamento novembre 2018: Kaplan e Irvin, 2017, Probabilità di effetti nulli di grandi studi clinici NHLBI nel corso del tempo sono aumentati mostrano che la frazione di studi clinici che riporta risultati nulli è aumentata dal 43% al 92% dopo la richiesta di pre-registrazione:

$P$Distribuzioni del valore in letteratura

Head et al. 2015

Non ho sentito parlare di Head et al. studiare prima, ma ora ho passato un po 'di tempo a guardare la letteratura circostante. Ho anche dato una breve occhiata ai loro dati grezzi .

$p=a$$p<a$$0$$0.06$

$0.0001$$p$$p$$(0.045, 0.5)$$(0.04, 0.045)$$p$ -hacking. Se uno è strabico, lo si può vedere sulla mia figura.

$p=0.05$$p=0.048$$p=0.052$$p$$0.05$

E a parte questo, l'effetto è minuscolo .

$p$$0.05$ . Ciò è chiaramente dovuto al bias della pubblicazione.)

$p$

$p=0.04$$p=0.05$$p$

$p$

$p$$t$$F$$\chi^2$

$\hspace{5em}$

$p$$p$

$p=0.05$$p\approx 0.05$$p$ -hacking.

Mascicampo e Lalande

$p$

Questo sembra impressionante, ma Lakens 2015 ( prestampa ) in un commento pubblicato sostiene che questo sembra impressionante solo grazie all'ingannevole adattamento esponenziale. Vedi anche Lakens 2015, Sulle sfide di trarre conclusioni da valori di p appena sotto 0,05 e riferimenti in esse.

Economia

$z$$p$

$p$$p$$p<0.05$

Falsamente rassicurante?

$p$$p$$p$$0.05$$0.05$

Uri Simonsohn sostiene che ciò è "falsamente rassicurante" . Bene, in realtà cita questi articoli in modo non critico ma poi osserva che "la maggior parte dei valori di p sono molto più piccoli" di 0,05. Quindi dice: "È rassicurante, ma falsamente rassicurante". Ed ecco perché:

Se vogliamo sapere se i ricercatori p-hacking i loro risultati, dobbiamo esaminare i valori p associati ai loro risultati, quelli che potrebbero voler p-hacking in primo luogo. I campioni, per essere imparziali, devono includere solo osservazioni della popolazione di interesse.

La maggior parte dei valori p riportati nella maggior parte degli articoli sono irrilevanti per il comportamento strategico di interesse. Covariate, controlli di manipolazione, effetti principali negli studi che testano interazioni, ecc. Includendo questi sottovalutiamo il p-hacking e sopravvalutiamo il valore probatorio dei dati. L'analisi di tutti i valori p pone una domanda diversa, una meno sensata. Invece di "I ricercatori p-hackano ciò che studiano?" Chiediamo "I ricercatori p-hack tutto?"

$p$$p$$p$$p$

$p$

conclusioni

$p$$p$ $p$$0.05$

I grafici a imbuto sono stati una straordinaria innovazione statistica che ha trasformato la meta-analisi sulla sua testa. Fondamentalmente, un diagramma a imbuto mostra il significato clinico e statistico sullo stesso diagramma. Idealmente, formerebbero una forma a imbuto. Tuttavia, diverse meta-analisi hanno prodotto grafici a imbuto che mostrano una forte forma bimodale, in cui gli investigatori (o gli editori) hanno negato selettivamente risultati nulli. Il risultato è che il triangolo diventa più ampio, perché studi più piccoli e meno potenti hanno usato metodi più drastici per "incoraggiare" i risultati a raggiungere un significato statistico. Il team di Cochrane Report ha da dire su di loro .

Se esiste una distorsione, ad esempio perché studi più piccoli senza effetti statisticamente significativi (mostrati come cerchi aperti nella Figura 10.4.a, Pannello A) rimangono inediti, ciò porterà a un aspetto asimmetrico del diagramma a imbuto con uno spazio in un angolo inferiore di il grafico (pannello B). In questa situazione, l'effetto calcolato in una meta-analisi tenderà a sopravvalutare l'effetto dell'intervento (Egger 1997a, Villar 1997). Più pronunciata è l'asimmetria, più è probabile che la quantità di distorsione sia sostanziale.

La prima trama mostra una trama simmetrica in assenza di parzialità. Il secondo mostra un diagramma asimmetrico in presenza di distorsioni nei rapporti. Il terzo mostra un diagramma asimmetrico in presenza di distorsioni perché alcuni studi più piccoli (circoli aperti) sono di qualità metodologica inferiore e quindi producono stime esagerate degli effetti di intervento.

Sospetto che la maggior parte degli autori non sia a conoscenza dei metodi che usano per p-hack. Non tengono traccia del numero complessivo di modelli adatti, applicando criteri di esclusione diversi o optando per variabili di regolazione diverse ogni volta. Tuttavia, se dovessi imporre un semplice processo, mi piacerebbe vedere il numero totale di modelli adatti. Questo non vuol dire che potrebbero esserci motivi legittimi per ripetere i modelli, ad esempio abbiamo appena analizzato un'analisi del morbo di Alzheimer senza sapere che ApoE era stata raccolta nel campione. Uovo sulla mia faccia, riproviamo i modelli.