Riferimenti contenenti argomenti contro il test di significatività dell'ipotesi nulla?

Negli ultimi anni ho letto una serie di articoli che discutono contro l'uso di test di significatività dell'ipotesi nulla nella scienza, ma non ho pensato di mantenere un elenco persistente. Di recente un collega mi ha chiesto un simile elenco, quindi ho pensato di chiedere a tutti qui di aiutarlo a costruirlo. Per iniziare, ecco quello che ho finora:

• Johansson (2011) "Ave l'impossibile: valori p, prove e probabilità."
• Haller & Kraus (2002) "Interpretazione errata del significato: un problema che gli studenti condividono con i loro insegnanti."
• Wagenmakers (2007) "Una soluzione pratica al problema pervasivo dei valori p."
• Rodgers (2010) "L'epistemologia della modellistica matematica e statistica: una rivoluzione metodologica silenziosa."
• Dixon (1998) "Perché gli scienziati apprezzano i valori p."
• Glover & Dixon (2004) "Rapporti di verosimiglianza: una statistica semplice e flessibile per gli psicologi empirici."

Chris Fraley ha tenuto un intero corso sulla storia del dibattito (il collegamento sembra essere rotto, anche se è ancora sul suo sito ufficiale; eccone una copia in Internet Archive ). Il suo riassunto / conclusione è qui (di nuovo, copia archiviata ). Secondo la homepage di Fraley, l'ultima volta che ha insegnato questo corso è stato nel 2003.

Si prefigge questo elenco con un "pregiudizio dell'istruttore":

Sebbene il mio obiettivo sia facilitare discussioni vivaci, profonde ed eque sulle questioni in esame, credo che sia necessario rendere esplicito il mio pregiudizio fin dall'inizio. Paul Meehl una volta dichiarò che "Sir Ronald [Fisher] ci ha confusi, incantati e guidati lungo il sentiero delle primule. Credo che il ricorso quasi universale al solo confutare l'ipotesi nulla come metodo standard per corroborare teorie sostanziali nel soft le aree sono un terribile errore, sono fondamentalmente prive di fondamento, scarsa strategia scientifica e una delle peggiori cose che siano mai successe nella storia della psicologia ". Mi associo al sentimento di Meehl. Uno dei miei obiettivi in ​​questo seminario è quello di chiarire perché ritengo che sia così. Inoltre, mi aspetto che, quando avrai completato questo seminario,

Copierò l'elenco di lettura nel caso in cui la pagina del corso scompaia mai:

Settimana 1. Introduzione: che cos'è un test di significatività dell'ipotesi nulla? Fatti, miti e lo stato della nostra scienza

• Lyken, DL (1991). Cosa c'è che non va nella psicologia? In D. Cicchetti e WM Grove (a cura di), Pensando chiaramente alla psicologia, vol. 1: Questioni di interesse pubblico, saggi in onore di Paul E. Meehl (pagg. 3 - 39). Minneapolis, MN: University of Minnesota Press.

Settimana 2. Prime critiche di NHST

• Meehl, PE (1967). Teoria-test in psicologia e fisica: un paradosso metodologico. Philosophy of Science, 34, 103-115.

• Meehl, PE (1978). Rischi teorici e asterischi tabulari: Sir Karl, Sir Ronald e il lento progresso della psicologia dolce. Journal of Consulting and Clinical Psychology, 46, 806-834.

• Rozeboom, WW (1960). L'errore del test di significatività dell'ipotesi nulla. Bollettino psicologico, 57, 416-428.

• Bakan, D. (1966). Il test di significato nella ricerca psicologica. Bollettino psicologico, 66, 423-437. [opzionale]

Settimana 3. Critiche contemporanee di NHST

• Cohen, J. (1994). La terra è rotonda (p <.05). Psicologo americano, 49, 997-1003.

• Gigerenzer, G. (1993). Il super-io, l'ego e l'id nel ragionamento statistico. In G. Keren e C. Lewis (a cura di), un manuale per l'analisi dei dati nelle scienze comportamentali: questioni metodologiche (pagg. 311-339). Hillsdale, New Jersey: Lawrence Erlbaum Associates.

• Schmidt, FL & Hunter, JE (1997). Otto obiezioni comuni ma false alla sospensione dei test di significatività nell'analisi dei dati di ricerca. In Lisa A. Harlow, Stanley A. Mulaik e James H. Steiger (a cura di). E se non ci fossero test di significatività? (pagg. 37-64). Mahwah, NJ: Lawrence Erlbaum Associates.

• Oakes, M. (1986). Inferenza statistica: un commento per le scienze sociali e comportamentali. New York: Wiley. (Capitolo 2 [Una critica ai test di significatività]) [opzionale]

Settimana 4. Confutazione: i sostenitori dell'NHST vengono in sua difesa

• Frick, RW (1996). L'uso appropriato del test di ipotesi nulla. Metodi psicologici, 1, 379-390.

• Hagen, RL (1997). Elogio del test statistico di ipotesi nulla. Psicologo americano, 52, 15-24.

• Wilkinson, L. e la Task Force sull'inferenza statistica. (1999). Metodi statistici nelle riviste di psicologia: linee guida e spiegazioni. Psicologo americano, 54, 594-604.

• Wainer, H. (1999). Un esultanza per il test di significatività dell'ipotesi nulla. Metodi psicologici, 6, 212-213.

• Mulaik, SA, Raju, NS e Harshman, RA (1997). C'è un tempo e un luogo per i test di significatività. In Lisa A. Harlow, Stanley A. Mulaik e James H. Steiger, Eds. E se non ci fossero test di significatività? (pagg. 65-116). Mahwah, NJ: Lawrence Erlbaum Associates. [opzionale]

Settimana 5. Confutazione: i sostenitori dell'NHST vengono in sua difesa

• Abelson, RP (1997). Sulla sorprendente longevità dei cavalli frustati: perché esiste un motivo per il test di significatività. Scienze psicologiche, 8, 12-15.

• Krueger, J. (2001). Test di significatività dell'ipotesi nulla: sulla sopravvivenza di un metodo imperfetto. Psicologo americano, 56, 16-26.

• Scarr, S. (1997). Regole di prova: un contesto più ampio per il dibattito statistico. Scienze psicologiche, 8, 16-17.

• Greenwald, AG, Gonzalez, R., Harris, RJ e Guthrie, D. (1996). Dimensioni dell'effetto e valori di p: cosa dovrebbe essere segnalato e cosa dovrebbe essere replicato? Psicofisiologia, 33, 175-183.

• Nickerson, RS (2000). Test di significatività dell'ipotesi nulla: una revisione di una vecchia e continua controversia. Metodi psicologici, 5, 241-301. [opzionale]

• Harris, RJ (1997). I test di significatività hanno il loro posto. Scienze psicologiche, 8, 8-11. [opzionale]

Settimana 6. Dimensione dell'effetto

• Rosenthal, R. (1984). Procedure meta-analitiche per la ricerca sociale. Beverly Hills, California: Sage. [Ch. 2, Definizione dei risultati della ricerca]

• Chow, SL (1988). Test di significatività o dimensioni dell'effetto? Bollettino psicologico, 103, 105-110.

• Abelson, RP (1985). Un paradosso di spiegazione della varianza: quando un po 'è molto. Bollettino psicologico, 97, 129-133. [opzionale]

Settimana 7. Potenza statistica

• Hallahan, M., & Rosenthal, R. (1996). Potere statistico: concetti, procedure e applicazioni. Ricerca comportamentale e terapia, 34, 489-499.

• Sedlmeier, P., & Gigerenzer, G. (1989). Gli studi sul potere statistico hanno un effetto sul potere degli studi? Bollettino psicologico, 105, 309-316.

• Cohen, J. (1962). Il potere statistico della ricerca psicologica anormale-sociale: una revisione. Journal of Anormal and Social Psychology, 65, 145-153. [opzionale]

• Maddock, JE, Rossi, JS (2001). Potere statistico di articoli pubblicati su tre riviste relative alla psicologia della salute. Psicologia della salute, 20, 76-78. [opzionale]

• Thomas, L. & Juanes, F. (1996). L'importanza dell'analisi statistica del potere: un esempio tratto dal comportamento animale. Animal Behaviour, 52, 856-859. [opzionale]

• Rossi, JS (1990). Potere statistico della ricerca psicologica: cosa abbiamo guadagnato in 20 anni? Journal of Consulting and Clinical Psychology, 58, 646-656. [opzionale]

• Tukey, JW (1969). Analisi dei dati: santificazione o lavoro investigativo? Psicologo americano, 24, 83-91. [opzionale]

Settimana 8. Intervalli di confidenza e test di significatività

• Gardner, MJ e DG Altman. 1986. Intervalli di confidenza anziché valori di P: stima anziché verifica di ipotesi. British Medical Journal, 292, 746-750.

• Cumming, G., & Finch, S. (2001). Un primer sulla comprensione, l'uso e il calcolo degli intervalli di confidenza basati su distribuzioni centrali e non centrali. Misura educativa e psicologica, 61, 532-574.

• Loftus, GR e Masson, MEJ (1994). Utilizzo degli intervalli di confidenza nei progetti all'interno del soggetto. Psychonomic Bulletin and Review, 1, 476-490.

Settimana 9 [nota: stiamo saltando questa sezione]. Modellazione teorica: sviluppo di modelli formali di fenomeni naturali

• Haefner, JW (1996). Modellazione di sistemi biologici: principi e applicazioni. New York: International Thomson Publishing. (Capitoli 1 [Modelli di sistemi] e 2 [Il processo di modellazione])

• Loehlin, JC (1992). Modelli di variabili latenti: un'introduzione a fattori, percorsi e analisi strutturali. Hillsdale, New Jersey: Lawrence Erlbaum Associates. (Capitolo 1 [Modelli di percorso in fattore, percorso e analisi strutturale], p. 1-18]

• Grant, DA (1962). Testare l'ipotesi nulla e la strategia di indagine sui modelli teorici. Revisione psicologica, 69, 54-61. [opzionale]

• Binder, A. (1963). Ulteriori considerazioni sulla verifica dell'ipotesi nulla e sulla strategia e tattica di studio dei modelli teorici. Revisione psicologica, 70, 107-115. [opzionale]

• Edwards, W. (1965). Nota tattica sui rapporti tra ipotesi scientifiche e statistiche. Bollettino psicologico, 63, 400-402. [opzionale]

Settimana 10. Qual è il significato della probabilità? Polemiche riguardanti la frequenza relativa e la probabilità soggettiva

• Salsburg, D. (2001). La signora che assaggia il tè: come le statistiche hanno rivoluzionato la scienza nel ventesimo secolo. New York: WH Freeman. (Capitoli 10, 11 e 12)

• Oakes, M. (1986). Inferenza statistica: un commento per le scienze sociali e comportamentali. New York: Wiley. (Capitoli 4, 5 e 6)

• Pruzek, RM (1997). Un'introduzione all'inferenza bayesiana e alle sue applicazioni. In Lisa A. Harlow, Stanley A. Mulaik e James H. Steiger, Eds. E se non ci fossero test di significatività? (pagg. 287-318). Mahwah, NJ: Lawrence Erlbaum Associates.

• Rindskoph, DM (1997). Verifica di ipotesi "piccole", non nulle: Approcci classici e bayesiani. In Lisa A. Harlow, Stanley A. Mulaik e James H. Steiger (Eds). E se non ci fossero test di significatività? (pagg. 319-332). Mahwah, NJ: Lawrence Erlbaum Associates.

• Edwards, W., Lindman, H., Savage, LJ (1963). Inferenza statistica bayesiana per la ricerca psicologica. Revisione psicologica, 70, 193-242. [opzionale]

Settimana 11. Valutazione della teoria: filosofia della scienza e prove e modifiche delle teorie

• Meehl, PE (1990). Valutare e modificare teorie: la strategia di difesa lacatosiana e due principi che la giustificano. Psychological Inquiry, 1, 108-141.

• Roberts, S. & Pashler, H. (2000). Quanto è convincente una buona misura? Un commento sui test teorici. Revisione psicologica, 107, 358-367.

Settimana 12. Valutazione della teoria: filosofia della scienza e prove e modifiche delle teorie

• Urbach, P. (1974). Progressi e degenerazione nel "dibattito sul QI" (I). British Journal of Philosophy of Science, 25, 99-125.

• Serlin, RC & Lapsley, DK (1985). Razionalità nella ricerca psicologica: il principio abbastanza buono. Psicologo americano, 40, 73-83.

• Dar, R. (1987). Un altro sguardo a Meehl, Lakatos e alle pratiche scientifiche degli psicologi. Psicologo americano, 42, 145-151.

• Gholson, B. & Barker, P. (1985). Kuhn, Lakatos e Laudan: applicazioni nella storia della fisica e della psicologia. Psicologo americano, 40, 755-769. [opzionale]

• Faust, D., e Meehl, PE (1992). Utilizzo di metodi scientifici per risolvere domande nella storia e nella filosofia della scienza: alcune illustrazioni. Terapia comportamentale, 23, 195-211. [opzionale]

• Urbach, P. (1974). Progressi e degenerazione nel "dibattito sul QI" (II). British Journal of Philosophy of Science, 25, 235-259. [opzionale]

• Salmon, WC (1973, maggio). Conferma. Scientific American, 228, 75-83. [opzionale]

• Meehl, PE (1993). Filosofia della scienza: aiuto o impedimento? Rapporti psicologici, 72, 707-733. [opzionale] Manicas. PT, & Secord, PF (1983). Implicazioni per la psicologia della nuova filosofia della scienza. Psicologo americano, 38, 399-413. [opzionale]

Settimana 13. La tradizione NHST ha minato una base di conoscenza cumulativa non distorta in psicologia?

• Cooper, H., DeNeve, K., e Charlton, K. (1997). Alla ricerca della scienza mancante: il destino degli studi sottoposti a revisione da parte di un comitato di soggetti umani. Metodi psicologici, 2, 447-452.

• Schmidt, FL (1996). Test di significatività statistica e conoscenze cumulative in psicologia: implicazioni per la formazione dei ricercatori. Metodi psicologici, 1, 115-129.

• Greenwald, AG (1975). Conseguenze del pregiudizio contro l'ipotesi nulla. Bollettino psicologico, 82, 1-20.

• Berger, JO & Berry, DA (1988). Analisi statistica e illusione dell'oggettività. Scienziato americano, 76, 159-165.

Settimana 14. Replica e integrità scientifica

• Smith, NC (1970). Studi di replica: un aspetto trascurato della ricerca psicologica. Psicologo americano, 25, 970-975.

• Sohn, D. (1998). Significato statistico e replicabilità: perché il primo non presagisce il secondo. Teoria e psicologia, 8, 291-311.

• Meehl, PE (1990). Perché i riassunti della ricerca sulle teorie psicologiche sono spesso non interpretabili. Rapporti psicologici, 66, 195-244.

• Platt, JR (1964). Inferenza forte. Scienza, 146, 347-353.

• Feynman, RL (1997). Sicuramente stai scherzando, signor Feynman! New York: WW Norton. (Capitolo: Scienza del culto delle merci).

• Rorer, LG (1991). Alcuni miti della scienza in psicologia. In D. Cicchetti e WM Grove (a cura di), Pensando chiaramente alla psicologia, vol. 1: Questioni di interesse pubblico, saggi in onore di Paul E. Meehl (pagg. 61-87). Minneapolis, MN: University of Minnesota Press. [opzionale]

• Lindsay, RM & Ehrenberg, ASC (1993). La progettazione di studi replicati. The American Statistician, 47, 217-228. [opzionale]

Settimana 15. Pensiero quantitativo: perché abbiamo bisogno della matematica (e non del NHST in sé) nella scienza psicologica

• Aiken, LS, West, SG, Sechrest, L., & Reno, RR (1990). Formazione di laurea in statistica, metodologia e misurazione in psicologia: un sondaggio di dottorato di ricerca programmi in Nord America. Psicologo americano, 45, 721-734.

• Meehl, PE (1998, maggio). Il potere del pensiero quantitativo. Indirizzo invitato come destinatario del James McKeen Cattell Award alla riunione annuale dell'American Psychological Society, Washington, DC.

Questi sono riferimenti eccellenti. Ho un volantino forse utile su http://biostat.mc.vanderbilt.edu/wiki/pub/Main/FHHandouts/whyBayesian.pdf

402 citazioni che mettono in discussione l'uso indiscriminato dei test di significatività dell'ipotesi nulla negli studi osservazionali: http://warnercnr.colostate.edu/~anderson/thompson1.html