Dopotutto, se un articolo ha impiegato anni per scrivere e ha subito una rigorosa revisione tra pari, allora le statistiche saranno sicuramente solide?
La mia esperienza nella lettura di articoli che tentano di applicare le statistiche in una vasta gamma di settori (scienze politiche, economia, psicologia, medicina, biologia, finanza, scienze attuariali, contabilità, ottica, astronomia e molti, molti altri) è che la qualità di l'analisi statistica può essere ovunque nello spettro da eccellente e ben fatto a sciocchezze egregie. Ho visto una buona analisi in ciascuna delle aree che ho citato e un'analisi abbastanza scarsamente eseguita in quasi tutte.
Alcuni diari sono generalmente piuttosto buoni, e alcuni possono essere più simili a giocare a freccette con una benda sugli occhi - potresti ottenere molti di loro non troppo terribilmente lontano dal bersaglio, ma ce ne saranno alcuni nel muro, nel pavimento e nel soffitto. E forse il gatto.
Non ho intenzione di nominare alcun colpevole, ma dirò di aver visto carriere accademiche costruite su un uso errato delle statistiche (cioè dove gli stessi errori e incomprensioni sono stati ripetuti su carta dopo carta, per più di un decennio).
Quindi il mio consiglio è di fare attenzione al lettore ; non fidarti che gli editor e i peer review sappiano cosa stanno facendo. Con il passare del tempo potresti avere un'idea di quali autori si possano fare affidamento per non fare nulla di troppo scioccante e quali dovrebbero essere trattati in modo particolarmente cauto. Potresti avere la sensazione che alcune riviste in genere abbiano standard molto elevati per le loro statistiche.
Ma anche un autore in genere bravo può fare un errore, oppure arbitri ed editori non riescono a rilevare errori che normalmente potrebbero trovare; un diario in genere buono può pubblicare un ululato.
[A volte, vedrai persino documenti davvero pessimi vincere premi o riconoscimenti ... il che non dice molto per la qualità delle persone che giudicano il premio.]
Non vorrei indovinare quale sia la frazione di "cattive" statistiche che avrei potuto vedere (in varie forme e in ogni fase dalla definizione della domanda, alla progettazione dello studio, alla raccolta, alla gestione dei dati, ... fino a analisi e conclusioni), ma non è abbastanza piccolo per sentirmi a mio agio.
Potrei indicare esempi, ma non credo che questo sia il forum giusto per farlo. (Sarebbe bello se ci fosse un buon forum per quello, in realtà, ma di nuovo, probabilmente diventerebbe molto "politicizzato" abbastanza rapidamente, e presto non riuscirà a servire al suo scopo.)
Ho passato un po 'di tempo a gironzolare per PLOS ONE ... e ancora, non ho intenzione di indicare documenti specifici. Alcune cose che ho notato: sembra che una grande percentuale di articoli contenga statistiche, probabilmente più della metà ha test di ipotesi. I principali pericoli sembrano essere molti test, sia con un elevato come 0,05 su ciascuno (il che non è automaticamente un problema finché si capisce che un numero piuttosto limitato di effetti molto piccoli potrebbe apparire significativo per caso), o un incredibile basso livello di significatività individuale, che tenderà a dare bassa potenza. Ho anche visto un numero di casi in cui circa una mezza dozzina di test diversiαapparentemente furono applicati per risolvere esattamente la stessa domanda. Questo mi sembra un'idea generalmente negativa. Nel complesso, lo standard era piuttosto buono su alcune dozzine di articoli, ma in passato ho visto un articolo assolutamente terribile lì.
[Forse potrei indulgere in un solo esempio, indirettamente. Questa domanda fa di uno che fa qualcosa di piuttosto dubbio. È tutt'altro che la cosa peggiore che abbia mai visto.]
D'altra parte, vedo anche (anche più frequentemente) casi in cui le persone sono costrette a saltare attraverso tutti i tipi di cerchi inutili per ottenere la loro analisi accettata; le cose perfettamente ragionevoli da fare non sono accettate perché esiste un modo "giusto" per fare le cose secondo un revisore o un editore o un supervisore, o semplicemente nella cultura non detta di una determinata area.