Statistiche pubblicate su articoli accademici

Ho letto molti articoli accademici evolutivi / ecologici, a volte con lo scopo specifico di vedere come le statistiche vengono utilizzate "nel mondo reale" al di fuori del libro di testo. Normalmente prendo le statistiche negli articoli come vangelo e uso gli articoli per aiutarmi nel mio apprendimento statistico. Dopotutto, se un articolo ha impiegato anni per scrivere e ha subito una rigorosa revisione tra pari, allora le statistiche saranno sicuramente solide? Ma negli ultimi giorni, ho messo in dubbio la mia ipotesi e mi chiedevo con quale frequenza si sospetta l'analisi statistica pubblicata sui documenti accademici? In particolare, ci si potrebbe aspettare che quelli in settori come l'ecologia e l'evoluzione abbiano trascorso meno tempo a imparare le statistiche e più tempo a imparare i loro campi.

Con quale frequenza le persone trovano statistiche sospette nei documenti accademici?

Dopotutto, se un articolo ha impiegato anni per scrivere e ha subito una rigorosa revisione tra pari, allora le statistiche saranno sicuramente solide?

La mia esperienza nella lettura di articoli che tentano di applicare le statistiche in una vasta gamma di settori (scienze politiche, economia, psicologia, medicina, biologia, finanza, scienze attuariali, contabilità, ottica, astronomia e molti, molti altri) è che la qualità di l'analisi statistica può essere ovunque nello spettro da eccellente e ben fatto a sciocchezze egregie. Ho visto una buona analisi in ciascuna delle aree che ho citato e un'analisi abbastanza scarsamente eseguita in quasi tutte.

Alcuni diari sono generalmente piuttosto buoni, e alcuni possono essere più simili a giocare a freccette con una benda sugli occhi - potresti ottenere molti di loro non troppo terribilmente lontano dal bersaglio, ma ce ne saranno alcuni nel muro, nel pavimento e nel soffitto. E forse il gatto.

Non ho intenzione di nominare alcun colpevole, ma dirò di aver visto carriere accademiche costruite su un uso errato delle statistiche (cioè dove gli stessi errori e incomprensioni sono stati ripetuti su carta dopo carta, per più di un decennio).

Quindi il mio consiglio è di fare attenzione al lettore ; non fidarti che gli editor e i peer review sappiano cosa stanno facendo. Con il passare del tempo potresti avere un'idea di quali autori si possano fare affidamento per non fare nulla di troppo scioccante e quali dovrebbero essere trattati in modo particolarmente cauto. Potresti avere la sensazione che alcune riviste in genere abbiano standard molto elevati per le loro statistiche.

Ma anche un autore in genere bravo può fare un errore, oppure arbitri ed editori non riescono a rilevare errori che normalmente potrebbero trovare; un diario in genere buono può pubblicare un ululato.

[A volte, vedrai persino documenti davvero pessimi vincere premi o riconoscimenti ... il che non dice molto per la qualità delle persone che giudicano il premio.]

Non vorrei indovinare quale sia la frazione di "cattive" statistiche che avrei potuto vedere (in varie forme e in ogni fase dalla definizione della domanda, alla progettazione dello studio, alla raccolta, alla gestione dei dati, ... fino a analisi e conclusioni), ma non è abbastanza piccolo per sentirmi a mio agio.

Potrei indicare esempi, ma non credo che questo sia il forum giusto per farlo. (Sarebbe bello se ci fosse un buon forum per quello, in realtà, ma di nuovo, probabilmente diventerebbe molto "politicizzato" abbastanza rapidamente, e presto non riuscirà a servire al suo scopo.)

Ho passato un po 'di tempo a gironzolare per PLOS ONE ... e ancora, non ho intenzione di indicare documenti specifici. Alcune cose che ho notato: sembra che una grande percentuale di articoli contenga statistiche, probabilmente più della metà ha test di ipotesi. I principali pericoli sembrano essere molti test, sia con un elevato come 0,05 su ciascuno (il che non è automaticamente un problema finché si capisce che un numero piuttosto limitato di effetti molto piccoli potrebbe apparire significativo per caso), o un incredibile basso livello di significatività individuale, che tenderà a dare bassa potenza. Ho anche visto un numero di casi in cui circa una mezza dozzina di test diversi$\alpha$apparentemente furono applicati per risolvere esattamente la stessa domanda. Questo mi sembra un'idea generalmente negativa. Nel complesso, lo standard era piuttosto buono su alcune dozzine di articoli, ma in passato ho visto un articolo assolutamente terribile lì.

[Forse potrei indulgere in un solo esempio, indirettamente. Questa domanda fa di uno che fa qualcosa di piuttosto dubbio. È tutt'altro che la cosa peggiore che abbia mai visto.]

D'altra parte, vedo anche (anche più frequentemente) casi in cui le persone sono costrette a saltare attraverso tutti i tipi di cerchi inutili per ottenere la loro analisi accettata; le cose perfettamente ragionevoli da fare non sono accettate perché esiste un modo "giusto" per fare le cose secondo un revisore o un editore o un supervisore, o semplicemente nella cultura non detta di una determinata area.

Rispetto la posizione di @ Glen_b sul modo giusto di rispondere qui (e certamente non intendo sminuirlo), ma non posso resistere del tutto a indicare un esempio particolarmente divertente vicino a casa mia. A rischio di politicizzare le cose e di fare un disservizio allo scopo di questa domanda, raccomando Wagenmakers, Wetzels, Boorsboom e Van Der Maas ^{₍₂₀₁₁₎} . L'ho citato in un post correlato su Cognitive Sciences beta SE (In che modo la scienza cognitiva spiega l'intenzionalità distante e la funzione cerebrale nei destinatari? ), Che considera un altro esempio di "un dardo che colpisce il gatto". L'articolo di Wagenmakers e dei colleghi commenta direttamente un vero "ululato": è stato pubblicato su JPSP (una delle più grandi riviste di psicologia) alcuni anni fa. Sostengono anche più in generale a favore dell'analisi bayesiana e che:

Al fine di convincere un pubblico scettico di un'affermazione controversa, è necessario condurre studi rigorosamente di conferma e analizzare i risultati con test statistici conservativi piuttosto che liberali.

Probabilmente non ho bisogno di dirti che questo non si è rivelato esattamente come una predicazione al coro. FWIW, c'è anche una confutazione (come sembra sempre esserci tra bayesiani e frequentisti; ^{_{( Bem, Utts, & Johnson, 2011 )}} , ma ho la sensazione che non abbia dato scacco matto al dibattito .

La psicologia come comunità scientifica è stata recentemente sottoposta a un po 'di replicazione, in parte a causa di questo e altri difetti metodologici di alto profilo. Altri commenti qui puntano a casi simili a quello che una volta erano conosciuti come correlazioni voodoo in neuroscienze sociali (come sta che per il politicamente scorretto BTW la carta è stata retitled;? ^{_{Vul, Harris, Winkielman, e Pashler 2009}} ). Anche questo ha attirato la sua confutazione , che è possibile verificare per ulteriori dibattiti su pratiche altamente discutibili.

Per ulteriori edutainment a spese (più spersonalizzate) degli statistici (pseudo) che si comportano male, vedere la nostra domanda attualmente più ottava sul CV qui con un altro titolo (dichiaratamente) politicamente scorretto, " Quali sono i peccati statistici comuni? " @MikeLawrence attribuisce la sua ispirazione al suo studio parallelo di psicologia e statistica. È uno dei miei preferiti personali e le sue risposte sono molto utili per evitare da soli le innumerevoli insidie.

Dal punto di vista personale, ho trascorso gran parte dei miei ultimi cinque mesi qui soprattutto perché è incredibilmente difficile ottenere statistiche solide su determinate domande di analisi dei dati. Francamente, la revisione tra pari spesso non è affatto molto rigorosa, soprattutto in termini di controllo statistico della ricerca nelle scienze più giovani con domande complesse e molte complicazioni epistemiche. Quindi ho sentito la necessità di assumermi la responsabilità personale di lucidare i metodi nel mio lavoro.

Nel presentare la mia ricerca di tesi , ho avuto un'idea di quanto sia importante la responsabilità personale per il controllo statistico. Due psicologi eccezionali della mia alma mater hanno intercettato che stavo commettendo uno dei peccati più elementari nelle mie interpretazioni delle correlazioni. Ci avevo pensato sopra, e avevo già insegnato agli studenti a riguardo più volte, ma ci andavo ancora, e mi hanno chiamato (presto, grazie al cielo). Sono andato lì perché la ricerca che stavo rivedendo e replicando è andata lì! Così ho finito per aggiungere diverse sezioni alla mia tesi ciò ha richiamato quegli altri ricercatori ad assumere la causalità da studi longitudinali quasi sperimentali (a volte anche da correlazioni trasversali) e ad ignorare prematuramente spiegazioni alternative.

La mia tesi di laurea è stata accettata senza revisioni dal mio comitato, che includeva un altro psicometrico eccezionale e il futuro presidente di SPSP (che pubblica JPSP), ma per essere sincero ancora una volta, non mi sto vantando di dirlo. Da allora sono riuscito a colpire diverse tane di coniglio nei miei metodi nonostante abbia superato il processo di revisione esterno con revisori perfettamente validi. Ora sono caduto nel profondo delle statistiche nel tentativo di inserirle con metodi più appropriati per la modellazione predittiva dei rating di Likert come SEM, IRT e analisi non parametriche (vedi Test di regressione dopo riduzione dimensionale). Sto optando volontariamente per passare anni su un documento che probabilmente potrei semplicemente pubblicare così com'è invece ... Penso che mi resta da fare uno studio di simulazione prima di poter procedere coscienziosamente.

Eppure sottolineo che questo è facoltativo - forse anche troppo zelante e un lusso costoso tra la cultura editoriale o perire che spesso enfatizza la quantità rispetto alla qualità nei registri di lavoro della prima carriera. L'applicazione errata di modelli parametrici per dati continui a distribuzioni di dati ordinali che violano l'assunzione è fin troppo comune nel mio campo, così come l'interpretazione errata e la rappresentazione errata di significatività statistica (vedi Accomodamento di viste trincerate di valori p ). Potrei assolutamente cavarmela (a breve termine) ... e non è poi così difficile fare di meglio. Immagino di avere molti anni recenti di incredibili progressi nei programmi R da ringraziare per questo! Spero che i tempi stiano cambiando.

^{Riferimenti
· Bem, DJ, Utts, J., & Johnson, WO (2011). Gli psicologi devono cambiare il modo in cui analizzano i loro dati? Journal of Personality and Social Psychology, 101 (4), 716–719. Estratto da http://deanradin.com/evidence/Bem2011.pdf .
· Vul, E., Harris, C., Winkielman, P., e Pashler, H. (2009). Correlazioni sorprendentemente alte negli studi di risonanza magnetica di emozione, personalità e cognizione sociale. Perspectives on Psychological Science, 4 (3), 274–290. Estratto da http://www.edvul.com/pdf/VulHarrisWinkielmanPashler-PPS-2009.pdf .
·Wagenmakers, EJ, Wetzels, R., Borsboom, D., e Van der Maas, H. (2011). Perché gli psicologi devono cambiare il modo in cui analizzano i loro dati: il caso della psi. Journal of Personality and Social Psychology, 100 , 426–432. Estratto da http://mpdc.mae.cornell.edu/Courses/MAE714/Papers/Bem6.pdf .}

Ricordo che all'università era stato chiesto da alcuni studenti dell'ultimo anno di scienze sociali in diverse occasioni (uno di loro aveva ottenuto un primo) come elaborare una media per il loro progetto che aveva avuto una manciata di punti dati. (Quindi non avevano problemi con l'uso del software, ma solo con il concetto di come fare i calcoli con una calcolatrice.)

Mi danno solo sguardi vuoti quando chiedo loro che tipo di media hanno voluto.

Eppure tutti hanno sentito il bisogno di mettere alcune statistiche nel loro rapporto, dato che era una cosa fatta - mi aspetto che abbiano letto tutti 101 articoli che avevano statistiche senza pensare a cosa significassero le statistiche.

È chiaro che il ricercatore che ha insegnato loro nel corso dei 3 anni non si è preoccupato della correttezza delle statistiche abbastanza da distillare qualsiasi comprensione negli studenti.

(All'epoca ero uno studente di scienze informatiche. Sto pubblicando questo come risposta in quanto è un po 'lungo per un commento.)

Come un elenco terribilmente incompleto, trovo le statistiche più frequentemente corrette in 1) documenti di fisica seguiti da 2) documenti statistici e il più miserabile in 3) documenti medici. Le ragioni di ciò sono chiare e hanno a che fare con la completezza dei requisiti imposti al modello prototipico in ciascun campo.

Negli articoli di fisica, le equazioni e le statistiche applicate devono prestare attenzione alle unità bilanciate e avere il verificarsi più frequente di relazioni causali e test sugli standard fisici.

In statistica, 1) le unità e la causalità sono talvolta ignorate, le ipotesi sono talvolta euristiche e il test fisico è troppo spesso ignorato, ma l'uguaglianza (o la disuguaglianza), cioè la logica è generalmente preservata lungo un percorso induttivo, dove quest'ultima non può correggere per ipotesi non fisiche.

In medicina, in genere le unità vengono ignorate, le equazioni e le assunzioni sono in genere euristiche, in genere non testate e spesso spurie.

Naturalmente, un campo come la meccanica statistica ha maggiori probabilità di avere ipotesi verificabili rispetto, diciamo, all'economia e che non riflettono sui talenti dei futuri autori in quei campi. È più correlato a quanto di ciò che viene fatto è effettivamente testabile e a quanti test sono stati fatti storicamente in ciascun campo.

Qualsiasi documento che smentisce l'ipotesi nulla nulla utilizza statistiche inutili (la stragrande maggioranza di ciò che ho visto). Questo processo non può fornire informazioni non già fornite dalla dimensione dell'effetto. Inoltre non ci dice nulla sul fatto che un risultato significativo sia effettivamente dovuto alla causa teorizzata dal ricercatore. Ciò richiede un'attenta analisi dei dati per l'evidenza di confusione. Molto spesso, se presente, la più forte di queste prove viene persino gettata via come "valori anomali".

Non ho molta familiarità con l'evoluzione / ecologia, ma nel caso della ricerca medica e medica definirei il livello di comprensione statistica "gravemente confuso" e "un ostacolo al progresso scientifico". Le persone dovrebbero smentire qualcosa previsto dalla loro teoria, non il contrario (zero differenza / effetto).

Sono stati scritti migliaia di articoli su questo argomento. Cerca polemiche ibride NHST.

Modifica: E intendo che il test di significatività dell'ipotesi nulla nulla ha un valore scientifico massimo pari a zero. Questa persona colpisce l'unghia sulla testa:

http://www.johnmyleswhite.com/notebook/2012/05/18/criticism-4-of-nhst-no-mechanism-for-producing-substantive-cumulative-knowledge/

Inoltre: Paul Meehl. 1967. Test di teoria in psicologia e fisica: un paradosso metodologico

Modifica 3:

Se qualcuno ha argomenti a favore dell'utilità di Strawman NHST che non richiedono il pensiero "respingi l'ipotesi che il tasso di riscaldamento sia lo stesso, ma NON prenderlo per implicare che il tasso di riscaldamento è lo stesso" è un razionale dichiarazione, accolgo con favore i tuoi commenti.

Modifica 4:

Che cosa intendeva Fisher con la seguente citazione? Suggerisce che pensava "Se il modello / teoria A è incompatibile con i dati, possiamo dire che A è falso, ma nulla sul fatto che A non sia vero"?

"è certo che l'interesse dei test statistici per i lavoratori scientifici dipende interamente dal loro uso nel respingere le ipotesi che sono quindi ritenute incompatibili con le osservazioni".

...

Pertanto, si aggiungerebbe molto alla chiarezza con cui vengono considerati i test di significatività se si comprendesse in generale che i test di significatività, se usati con precisione, sono in grado di respingere o invalidare ipotesi, nella misura in cui queste sono contraddette dai dati ; ma che non sono mai in grado di stabilirli come certamente veri

Karl Pearson e RA Fisher su test statistici: uno scambio del 1935 dalla natura

Supponeva che la gente avrebbe solo tentato di invalidare ipotesi plausibili piuttosto che uomini di paglia? O mi sbaglio?