Qual è il vantaggio di trattare un fattore come casuale in un modello misto?

Ho un problema ad abbracciare i vantaggi di etichettare un fattore modello come casuale per alcuni motivi. A me sembra che in quasi tutti i casi la soluzione ottimale sia quella di trattare tutti i fattori come fissi.

Innanzitutto, la distinzione tra fisso e casuale è abbastanza arbitraria. La spiegazione standard è che, se si è interessati alle particolari unità sperimentali in sé, si dovrebbero usare effetti fissi e, se si è interessati alla popolazione rappresentata dalle unità sperimentali, si dovrebbero usare effetti casuali. Questo non è di grande aiuto perché implica che si può alternare tra viste fisse e casuali anche se i dati e la progettazione sperimentale rimangono gli stessi. Inoltre, questa definizione promuove l'illusione che, se un fattore è etichettato come casuale, l'inferenza ricavata dal modello è in qualche modo più applicabile alla popolazione rispetto al caso in cui il fattore sia etichettato come fisso. Infine, Gelman mostra che la distinzione casuale fissa è confusa anche a livello di definizione perché ci sono altre quattro definizioni di cosa sono gli effetti fissi e casuali.

In secondo luogo, la stima di modelli misti è piuttosto complicata. A differenza di un modello "puramente fisso", ci sono più di alcuni modi per ottenere i valori p. Il prof. Bates che ha implementato la stima REML nel pacchetto lme4 in R si è spinto fino a rifiutare di riportare i valori p complessivamente .

In terzo luogo, esiste una questione oscura di quanti parametri impliciti vengono introdotti da un fattore casuale. Il seguente esempio è il mio adattamento di quello in Burnham & Anderson, Selezione del modello e inferenza multi-modello: un approccio pratico informativo-teorico . Dal punto di vista del trade-bias varianza, il ruolo degli effetti casuali può essere illustrato come segue. Considera un ANOVA a senso unico con trattamenti ed effetti del fattore principale K , di cui K - 1 sono stimabili. Il termine di errore ha distribuzione N ( 0 , σ 2 ) . Se il numero di osservazioni è fisso, il compromesso della variazione di polarizzazione peggiorerà come $K$$K$$K - 1$$\mathcal N(0, \sigma^2)$$K$salire. Supponiamo di dire che gli effetti principali di sono tratti dalla distribuzione di N ( 0 , σ K ) . Il modello corrispondente avrà una complessità che si trova tra la versione fissa (con adattamento eccessivo) e il modello con adattamento insufficiente che contiene solo l'intercettazione. Il numero di parametri effettivi nel modello fisso è$K$$\mathcal N(0, \sigma_K)$

Il numero di parametri efficaci nel modello casuale è almeno tre: . Inoltre, il modello casuale ha una serie di parametri "nascosti" implicati dalla restrizione distributiva (normale in questo caso) imposta sui principali effetti.$\mathrm{intercept}, \sigma, \sigma_K$

In particolare, se esiste un fattore con due livelli, non ha senso chiamarlo casuale, anche se sappiamo con certezza che i suoi livelli sono stati campionati a caso da una popolazione. Questo perché la versione con effetti fissi ha tre parametri e la versione con effetti casuali ha oltre tre parametri. In questo caso, il modello casuale risulta avere più complessità rispetto alla versione fissa. Apparentemente, un passaggio dalla versione fissa a quella casuale è più messo a terra per K più grandi$K$. Tuttavia, il numero di parametri "nascosti" nel modello casuale è sconosciuto, quindi è impossibile confrontare le versioni fisse e casuali in base a criteri di informazione come AIC. Pertanto, mentre questo esempio illumina il contributo di effetti casuali (la possibilità di un migliore compromesso di bias-varianza), mostra anche che è difficile dire quando è giustificabile rietichettare il fattore da fisso a casuale.

Nessuno dei problemi sopra elencati è presente in un modello "puramente risolto". Pertanto, sono disposto a chiedere:

1. Qualcuno può fornire un esempio quando è accaduto qualcosa di molto brutto quando è stato utilizzato un fattore casuale come se fosse corretto? Credo che dovrebbero esserci alcuni studi di simulazione che affrontano esplicitamente il problema.

2. Esiste un metodo quantitativo comprovato per decidere quando ha senso passare dall'etichetta fissa a quella casuale?

1. Un famoso esempio di psicologia e linguistica è descritto da Herb Clark (1973; in seguito a Coleman, 1964): "L'errore del linguaggio come effetto fisso: una critica delle statistiche linguistiche nella ricerca psicologica".

Clark è uno psicolinguista che discute di esperimenti psicologici in cui un campione di soggetti di ricerca fornisce risposte a una serie di materiali di stimolo, comunemente varie parole tratte da alcuni corpus. Sottolinea che la procedura statistica standard utilizzata in questi casi, basata su misure ripetute ANOVA, e indicata da Clark come , considera i partecipanti come un fattore casuale ma (forse implicitamente) tratta i materiali di stimolo (o "linguaggio") come riparato. Ciò porta a problemi nell'interpretazione dei risultati dei test di ipotesi sul fattore di condizione sperimentale: naturalmente vogliamo supporre che un risultato positivo ci dica qualcosa sulla popolazione da cui abbiamo attinto il nostro campione partecipante e sulla popolazione teorica da cui abbiamo attinto i materiali linguistici. Ma $F_1$ , trattando i partecipanti come casuali e gli stimoli come fissi, ci dice solo circa l'effetto del fattore di condizione su altri partecipanti simili che rispondono aglistessi stimoli stessi. Effettuare l'analisi di F 1 quando sia i partecipanti che gli stimoli sono considerati in modo più appropriato come casuali può portare a tassi di errore di tipo 1 che superano sostanzialmente illivellonominale α - di solito 0,05 - con l'estensione che dipende da fattori come il numero e la variabilità di stimoli e progettazione dell'esperimento. In questi casi, l'analisi più appropriata, almeno nel quadro classico ANOVA, consiste nell'utilizzare quelle che vengono chiamatestatistichequasi- F basate su rapporti dicombinazioni lineari di$F_1$$F_1$$\alpha$$F$ quadrati medi.

Il documento di Clark in quel momento fece un salto di qualità nella psicolinguistica, ma non riuscì a fare una grande ammaccatura nella più ampia letteratura psicologica. (E anche all'interno della psicolinguistica il consiglio di Clark si è in qualche modo distorto nel corso degli anni, come documentato da Raaijmakers, Schrijnemakers e Gremmen, 1999.) Ma negli anni più recenti il ​​problema ha visto una sorta di rinascita, dovuta in gran parte ai progressi statistici nei modelli a effetti misti, di cui il classico modello misto ANOVA può essere visto come un caso speciale. Alcuni di questi articoli recenti includono Baayen, Davidson e Bates (2008), Murayama, Sakaki, Yan e Smith (2014) e ( ahem ) Judd, Westfall e Kenny (2012). Sono sicuro che ce ne sono alcuni che sto dimenticando.

2. Non esattamente. Ci sono metodi di ottenere in se un fattore è meglio compreso come un effetto casuale o meno nel modello a tutti (si veda ad esempio, Pinheiro & Bates, 2000, pp 83-87;. Tuttavia vedere Barr, Levy, Scheepers, & Tily, 2013). E naturalmente ci sono tecniche di confronto di modelli classici per determinare se un fattore è meglio incluso come effetto fisso o per niente (cioè,test ). Ma penso che determinare se un fattore sia meglio considerato fisso o casuale sia generalmente lasciato come una domanda concettuale, a cui si deve rispondere considerando il disegno dello studio e la natura delle conclusioni da trarre da esso.$F$

A uno dei miei istruttori di statistica laureati, Gary McClelland, piaceva dire che forse la domanda fondamentale dell'inferenza statistica è: "Rispetto a cosa?" Seguendo Gary, penso che possiamo inquadrare la domanda concettuale che ho menzionato sopra come: Qual è la classe di riferimento di ipotetici risultati sperimentali con cui voglio confrontare i miei risultati osservati? Rimanendo nel contesto della psicolinguistica e considerando un disegno sperimentale in cui abbiamo un campione di soggetti che rispondono a un campione di parole classificate in una delle due Condizioni (il particolare disegno discusso a lungo da Clark, 1973), mi concentrerò su due possibilità:

1. L'insieme di esperimenti in cui, per ogni esperimento, disegniamo un nuovo campione di soggetti, un nuovo campione di parole e un nuovo campione di errori dal modello generativo. Sotto questo modello, Soggetti e Parole sono entrambi effetti casuali.
2. L'insieme di esperimenti in cui, per ogni esperimento, disegniamo un nuovo campione di soggetti e un nuovo campione di errori, ma utilizziamo sempre lo stesso insieme di parole . In base a questo modello, i soggetti sono effetti casuali ma le parole sono effetti fissi.

Per renderlo totalmente concreto, di seguito sono riportati alcuni diagrammi (sopra) 4 serie di risultati ipotetici di 4 esperimenti simulati nel Modello 1; (sotto) 4 serie di risultati ipotetici da 4 esperimenti simulati secondo il Modello 2. Ogni esperimento visualizza i risultati in due modi: (pannelli di sinistra) raggruppati per Soggetti, con i mezzi Soggetto per Condizione tracciati e legati insieme per ciascun Soggetto; (pannelli a destra) raggruppati per parole, con riquadri che riassumono la distribuzione delle risposte per ogni parola. Tutti gli esperimenti coinvolgono 10 soggetti che rispondono a 10 parole e in tutti gli esperimenti l '"ipotesi nulla" di nessuna differenza di condizione è vera nella popolazione interessata.

Soggetti e parole casuali: 4 esperimenti simulati

Si noti qui che in ogni esperimento, i profili di risposta per i soggetti e le parole sono totalmente diversi. Per i soggetti, a volte otteniamo risponditori globali bassi, a volte risponditori alti, a volte soggetti che tendono a mostrare grandi differenze di condizioni, ea volte soggetti che tendono a mostrare piccole differenze di condizioni. Allo stesso modo, per le Parole, a volte riceviamo Parole che tendono a suscitare risposte basse, e talvolta ricevono Parole che tendono a suscitare risposte alte.

Soggetti casuali, parole fisse: 4 esperimenti simulati

Si noti qui che attraverso i 4 esperimenti simulati, i Soggetti appaiono ogni volta diversi, ma i profili di risposta per le Parole sembrano sostanzialmente gli stessi, coerentemente con l'ipotesi che stiamo riutilizzando lo stesso insieme di parole per ogni esperimento in questo modello.

La nostra scelta se pensiamo che il Modello 1 (soggetti e parole sia casuali) o il Modello 2 (soggetti casuali, parole fisse) fornisca la classe di riferimento appropriata per i risultati sperimentali che abbiamo effettivamente osservato può fare una grande differenza nella nostra valutazione se la manipolazione delle condizioni "lavorato." Prevediamo una maggiore possibilità di variazione dei dati nel Modello 1 rispetto al Modello 2, poiché vi sono più "parti mobili". Pertanto, se le conclusioni che desideriamo trarre sono più coerenti con le ipotesi del Modello 1, in cui la variabilità delle probabilità è relativamente più elevata, ma analizziamo i nostri dati in base alle ipotesi del Modello 2, in cui la variabilità delle probabilità è relativamente inferiore, l'errore di Tipo 1 il tasso per testare la differenza di condizione sarà gonfiato in una certa misura (forse abbastanza grande). Per ulteriori informazioni, consultare i riferimenti di seguito.

Riferimenti

Baayen, RH, Davidson, DJ, & Bates, DM (2008). Modellazione di effetti misti con effetti casuali incrociati per soggetti e oggetti. Journal of memory and language, 59 (4), 390-412. PDF

Barr, DJ, Levy, R., Scheepers, C., & Tily, HJ (2013). Struttura ad effetti casuali per test di ipotesi di conferma: mantenerlo al massimo. Journal of Memory and Language, 68 (3), 255-278. PDF

Clark, HH (1973). L'errore di linguaggio come effetto fisso: una critica delle statistiche linguistiche nella ricerca psicologica. Giornale di apprendimento verbale e comportamento verbale, 12 (4), 335-359. PDF

Coleman, EB (1964). Generalizzando a una popolazione linguistica. Rapporti psicologici, 14 (1), 219-226.

Judd, CM, Westfall, J., & Kenny, DA (2012). Trattare gli stimoli come un fattore casuale nella psicologia sociale: una nuova e completa soluzione a un problema pervasivo ma ampiamente ignorato. Rivista di personalità e psicologia sociale, 103 (1), 54. PDF

Murayama, K., Sakaki, M., Yan, VX e Smith, GM (2014). Inflazione dell'errore di tipo I nell'analisi tradizionale per partecipante alla precisione metamemoria: una prospettiva di modello generalizzata ad effetti misti. Journal of Experimental Psychology: Learning, Memory and Cognition. PDF

Pinheiro, JC e Bates, DM (2000). Modelli a effetti misti in S e S-PLUS. Springer.

Raaijmakers, JG, Schrijnemakers, J., & Gremmen, F. (1999). Come affrontare "l'errore di linguaggio come effetto fisso": idee sbagliate comuni e soluzioni alternative. Journal of Memory and Language, 41 (3), 416-426. PDF

Supponiamo che io abbia un processo di fabbricazione che prevede la fabbricazione di materiale su più macchine diverse. Sono le uniche macchine che ho così "macchina" è un effetto fisso. Ma faccio molti materiali su ogni macchina e sono interessato a prevedere le cose sui lotti futuri. Farò del "numero di lotto" un fattore casuale perché sono interessato ai risultati che otterrò per lotti futuri .

Quindi li trattate come casuali in modo che vi sia un effetto di media tra la media complessiva e la media per quel particolare fattore in base alla dimensione del campione del fattore e al numero complessivo di osservazioni. Questo ti permette di dire che i tuoi risultati si applicano alla popolazione in generale, dal momento che hai un tipo di media ponderata e una stima della variazione dovuta a quel fattore, in caso contrario, puoi davvero dire che i tuoi risultati si applicano ai livelli di fattore hai usato poiché la regressione li tratterà come fattori discreti e non casuali che ottengono la media ponderata.

Sono utili anche quando sono state ripetute misure sullo stesso argomento, poiché è possibile utilizzarle per tenere conto della correlazione tra misure sullo stesso argomento.

$Y_{ij} = \beta_1 X_{ij} + \beta_2 Z_{i} + e_{i} + \mu_{ij}$$X_{ij}$$Z_{i}$$\beta_2$$Z_{i}$$i$$Z_{i}$è collineare con loro. Quindi, se utilizziamo uno stimatore di effetti fissi in questa situazione, ignoriamo le informazioni potenzialmente importanti.

Anche nel caso $Y_{ij} = \beta_1 X_{ij} + e_{i} + \mu_{ij}$ dove non ne abbiamo $Z_{i}$, potremmo comunque voler utilizzare effetti casuali per alcuni motivi, nonostante i problemi che potrebbero derivarne, alcuni dei quali sono elencati nella tua domanda.

In questo tipo di impostazioni, la variazione casuale ha due (o più se ci sono più livelli di raggruppamento) fonti di variazione - variazione "all'interno di" un gruppo e variazione "tra" gruppi. Lo stimatore degli effetti fissi (o "entro") rimuove completamente la variazione tra i gruppi nella stima$\beta_1$. Lo stimatore di effetti casuali / misti consente una variazione "tra" per contribuire alla stima di$\beta_1$, teoricamente causando errori standard più piccoli.

(Risposta originale)

Un punto in cui è essenzialmente necessario utilizzare effetti casuali è quando si desidera includere parametri invarianti a livello di raggruppamento dell'effetto fisso.

Ad esempio, supponiamo che tu voglia studiare l'impatto delle caratteristiche del medico (ad es. / Istruzione) sugli esiti dei pazienti. Il set di dati è a livello di paziente con esiti osservati e caratteristiche paziente / medico. Poiché i pazienti trattati con un solo medico sono probabilmente correlati, si desidera controllare questo. È possibile inserire qui un effetto fisso medico, ma nel fare ciò, si esclude l'inclusione di qualsiasi caratteristica del medico nel modello. Il che è problematico se l'interesse è per le caratteristiche di livello medico.

Penso che sia correlato alla coerenza delle stime.

Diciamo $x_{ij} = a_i+b_j+e$ dove $a_i$ sta per effetto fisso (alcune condizioni sperimentali)

e $b_j$ sta per effetto casuale (può essere una persona).

Neyman e Scott (1948) sottolinea il problema della coerenza di

Stime di verosimiglianza massima di $a_i$ e $b_j$.

Se prendiamo $a_i$ e $b_j$ poiché entrambi hanno effetto fisso, le stime non lo sono più

coerente. Almeno, è così che ho capito ...