1. Un famoso esempio di psicologia e linguistica è descritto da Herb Clark (1973; in seguito a Coleman, 1964): "L'errore del linguaggio come effetto fisso: una critica delle statistiche linguistiche nella ricerca psicologica".
Clark è uno psicolinguista che discute di esperimenti psicologici in cui un campione di soggetti di ricerca fornisce risposte a una serie di materiali di stimolo, comunemente varie parole tratte da alcuni corpus. Sottolinea che la procedura statistica standard utilizzata in questi casi, basata su misure ripetute ANOVA, e indicata da Clark come , considera i partecipanti come un fattore casuale ma (forse implicitamente) tratta i materiali di stimolo (o "linguaggio") come riparato. Ciò porta a problemi nell'interpretazione dei risultati dei test di ipotesi sul fattore di condizione sperimentale: naturalmente vogliamo supporre che un risultato positivo ci dica qualcosa sulla popolazione da cui abbiamo attinto il nostro campione partecipante e sulla popolazione teorica da cui abbiamo attinto i materiali linguistici. Ma FF1 , trattando i partecipanti come casuali e gli stimoli come fissi, ci dice solo circa l'effetto del fattore di condizione su altri partecipanti simili che rispondono aglistessi stimoli stessi. Effettuare l'analisi di F 1 quando sia i partecipanti che gli stimoli sono considerati in modo più appropriato come casuali può portare a tassi di errore di tipo 1 che superano sostanzialmente illivellonominale α - di solito 0,05 - con l'estensione che dipende da fattori come il numero e la variabilità di stimoli e progettazione dell'esperimento. In questi casi, l'analisi più appropriata, almeno nel quadro classico ANOVA, consiste nell'utilizzare quelle che vengono chiamatestatistichequasi- F basate su rapporti dicombinazioni lineari diF1F1αF quadrati medi.
Il documento di Clark in quel momento fece un salto di qualità nella psicolinguistica, ma non riuscì a fare una grande ammaccatura nella più ampia letteratura psicologica. (E anche all'interno della psicolinguistica il consiglio di Clark si è in qualche modo distorto nel corso degli anni, come documentato da Raaijmakers, Schrijnemakers e Gremmen, 1999.) Ma negli anni più recenti il problema ha visto una sorta di rinascita, dovuta in gran parte ai progressi statistici nei modelli a effetti misti, di cui il classico modello misto ANOVA può essere visto come un caso speciale. Alcuni di questi articoli recenti includono Baayen, Davidson e Bates (2008), Murayama, Sakaki, Yan e Smith (2014) e ( ahem ) Judd, Westfall e Kenny (2012). Sono sicuro che ce ne sono alcuni che sto dimenticando.
2. Non esattamente. Ci sono metodi di ottenere in se un fattore è meglio compreso come un effetto casuale o meno nel modello a tutti (si veda ad esempio, Pinheiro & Bates, 2000, pp 83-87;. Tuttavia vedere Barr, Levy, Scheepers, & Tily, 2013). E naturalmente ci sono tecniche di confronto di modelli classici per determinare se un fattore è meglio incluso come effetto fisso o per niente (cioè,test ). Ma penso che determinare se un fattore sia meglio considerato fisso o casuale sia generalmente lasciato come una domanda concettuale, a cui si deve rispondere considerando il disegno dello studio e la natura delle conclusioni da trarre da esso.F
A uno dei miei istruttori di statistica laureati, Gary McClelland, piaceva dire che forse la domanda fondamentale dell'inferenza statistica è: "Rispetto a cosa?" Seguendo Gary, penso che possiamo inquadrare la domanda concettuale che ho menzionato sopra come: Qual è la classe di riferimento di ipotetici risultati sperimentali con cui voglio confrontare i miei risultati osservati? Rimanendo nel contesto della psicolinguistica e considerando un disegno sperimentale in cui abbiamo un campione di soggetti che rispondono a un campione di parole classificate in una delle due Condizioni (il particolare disegno discusso a lungo da Clark, 1973), mi concentrerò su due possibilità:
- L'insieme di esperimenti in cui, per ogni esperimento, disegniamo un nuovo campione di soggetti, un nuovo campione di parole e un nuovo campione di errori dal modello generativo. Sotto questo modello, Soggetti e Parole sono entrambi effetti casuali.
- L'insieme di esperimenti in cui, per ogni esperimento, disegniamo un nuovo campione di soggetti e un nuovo campione di errori, ma utilizziamo sempre lo stesso insieme di parole . In base a questo modello, i soggetti sono effetti casuali ma le parole sono effetti fissi.
Per renderlo totalmente concreto, di seguito sono riportati alcuni diagrammi (sopra) 4 serie di risultati ipotetici di 4 esperimenti simulati nel Modello 1; (sotto) 4 serie di risultati ipotetici da 4 esperimenti simulati secondo il Modello 2. Ogni esperimento visualizza i risultati in due modi: (pannelli di sinistra) raggruppati per Soggetti, con i mezzi Soggetto per Condizione tracciati e legati insieme per ciascun Soggetto; (pannelli a destra) raggruppati per parole, con riquadri che riassumono la distribuzione delle risposte per ogni parola. Tutti gli esperimenti coinvolgono 10 soggetti che rispondono a 10 parole e in tutti gli esperimenti l '"ipotesi nulla" di nessuna differenza di condizione è vera nella popolazione interessata.
Soggetti e parole casuali: 4 esperimenti simulati
Si noti qui che in ogni esperimento, i profili di risposta per i soggetti e le parole sono totalmente diversi. Per i soggetti, a volte otteniamo risponditori globali bassi, a volte risponditori alti, a volte soggetti che tendono a mostrare grandi differenze di condizioni, ea volte soggetti che tendono a mostrare piccole differenze di condizioni. Allo stesso modo, per le Parole, a volte riceviamo Parole che tendono a suscitare risposte basse, e talvolta ricevono Parole che tendono a suscitare risposte alte.
Soggetti casuali, parole fisse: 4 esperimenti simulati
Si noti qui che attraverso i 4 esperimenti simulati, i Soggetti appaiono ogni volta diversi, ma i profili di risposta per le Parole sembrano sostanzialmente gli stessi, coerentemente con l'ipotesi che stiamo riutilizzando lo stesso insieme di parole per ogni esperimento in questo modello.
La nostra scelta se pensiamo che il Modello 1 (soggetti e parole sia casuali) o il Modello 2 (soggetti casuali, parole fisse) fornisca la classe di riferimento appropriata per i risultati sperimentali che abbiamo effettivamente osservato può fare una grande differenza nella nostra valutazione se la manipolazione delle condizioni "lavorato." Prevediamo una maggiore possibilità di variazione dei dati nel Modello 1 rispetto al Modello 2, poiché vi sono più "parti mobili". Pertanto, se le conclusioni che desideriamo trarre sono più coerenti con le ipotesi del Modello 1, in cui la variabilità delle probabilità è relativamente più elevata, ma analizziamo i nostri dati in base alle ipotesi del Modello 2, in cui la variabilità delle probabilità è relativamente inferiore, l'errore di Tipo 1 il tasso per testare la differenza di condizione sarà gonfiato in una certa misura (forse abbastanza grande). Per ulteriori informazioni, consultare i riferimenti di seguito.
Riferimenti
Baayen, RH, Davidson, DJ, & Bates, DM (2008). Modellazione di effetti misti con effetti casuali incrociati per soggetti e oggetti. Journal of memory and language, 59 (4), 390-412. PDF
Barr, DJ, Levy, R., Scheepers, C., & Tily, HJ (2013). Struttura ad effetti casuali per test di ipotesi di conferma: mantenerlo al massimo. Journal of Memory and Language, 68 (3), 255-278. PDF
Clark, HH (1973). L'errore di linguaggio come effetto fisso: una critica delle statistiche linguistiche nella ricerca psicologica. Giornale di apprendimento verbale e comportamento verbale, 12 (4), 335-359. PDF
Coleman, EB (1964). Generalizzando a una popolazione linguistica. Rapporti psicologici, 14 (1), 219-226.
Judd, CM, Westfall, J., & Kenny, DA (2012). Trattare gli stimoli come un fattore casuale nella psicologia sociale: una nuova e completa soluzione a un problema pervasivo ma ampiamente ignorato. Rivista di personalità e psicologia sociale, 103 (1), 54. PDF
Murayama, K., Sakaki, M., Yan, VX e Smith, GM (2014). Inflazione dell'errore di tipo I nell'analisi tradizionale per partecipante alla precisione metamemoria: una prospettiva di modello generalizzata ad effetti misti. Journal of Experimental Psychology: Learning, Memory and Cognition. PDF
Pinheiro, JC e Bates, DM (2000). Modelli a effetti misti in S e S-PLUS. Springer.
Raaijmakers, JG, Schrijnemakers, J., & Gremmen, F. (1999). Come affrontare "l'errore di linguaggio come effetto fisso": idee sbagliate comuni e soluzioni alternative. Journal of Memory and Language, 41 (3), 416-426. PDF