Effetto fisso vs effetto casuale quando tutte le possibilità sono incluse in un modello di effetti misti

In un modello a effetti misti la raccomandazione è di usare un effetto fisso per stimare un parametro se sono inclusi tutti i livelli possibili (ad esempio, sia maschi che femmine). Si consiglia inoltre di utilizzare un effetto casuale per tenere conto di una variabile se i livelli inclusi sono solo un campione casuale di una popolazione (pazienti arruolati dall'universo di possibili pazienti) e si desidera stimare la media e la varianza della popolazione anziché le medie dei singoli livelli dei fattori.

Mi chiedo se sei logicamente obbligato a usare sempre un effetto fisso in questo modo. Considera uno studio su come le dimensioni del piede / della scarpa cambiano attraverso lo sviluppo ed è correlato, per esempio, all'altezza, al peso e all'età. ${\rm Side}$chiaramente deve essere incluso nel modello in qualche modo per tenere conto del fatto che le misurazioni nel corso degli anni sono nidificate in un dato piede e non sono indipendenti. Inoltre, destra e sinistra sono tutte le possibilità che possono esistere. Inoltre, può essere vero che per un determinato partecipante il suo piede destro è più grande (o più piccolo) di quello sinistro. Tuttavia, sebbene le dimensioni del piede differiscano leggermente tra i piedi per tutte le persone, non c'è motivo di credere che i piedi giusti saranno in media più grandi dei piedi sinistri. Se sono nel tuo campione, ciò è presumibilmente dovuto a qualcosa sulla genetica delle persone nel tuo campione, piuttosto che a qualcosa di intrinseco al piede destro. Infine, ${\rm side}$ sembra un parametro di disturbo, non qualcosa che si ha realmente a cuore.

Vorrei sottolineare che ho inventato questo esempio. Potrebbe non essere buono; è solo per far passare l'idea. Per quanto ne so, per sopravvivere nel paleolitico era necessario avere un grande piede destro e un piccolo piede sinistro.

In un caso come questo, avrebbe senso (più / meno / alcuno) integrare ${\rm side}$ nel modello come effetto casuale? Quali sarebbero i pro e i contro dell'utilizzo di un effetto fisso vs. casuale qui?

Il problema generale con gli effetti "fissi" e "casuali" è che non sono definiti in modo coerente. Andrew Gelman ne cita alcuni:

(1) Gli effetti fissi sono costanti tra gli individui e gli effetti casuali variano. Ad esempio, in uno studio sulla crescita, un modello con intercettazioni casuali e pendenza fissa b corrispondono a linee parallele per diversi individui i , oppure il modello y i t = a i + b t . Kreft e De Leeuw (1998) distinguono quindi tra coefficienti fissi e casuali.$a_i$$b$$i$$y_{it} = a_i + b_t$

(2) Gli effetti sono fissi se sono interessanti in se stessi o casuali se vi è interesse per la popolazione sottostante. Searle, Casella e McCulloch (1992, Sezione 1.4) esplorano questa distinzione in profondità.

(3) “Quando un campione esaurisce la popolazione, viene fissata la variabile corrispondente; quando il campione è una piccola parte (cioè trascurabile) della popolazione, la variabile corrispondente è casuale. ”(Green and Tukey, 1960)

(4) "Se si presume che un effetto sia un valore realizzato di una variabile casuale, viene chiamato un effetto casuale." (LaMotte, 1983)

(5) Gli effetti fissi sono stimati usando i minimi quadrati (o, più in generale, la massima verosimiglianza) e gli effetti casuali sono stimati con il restringimento ("previsione imparziale lineare" nella terminologia di Robinson, 1991). Questa definizione è standard nella letteratura di modellistica multilivello (vedere, ad esempio, Snijders e Bosker, 1999, Sezione 4.2) e in econometria.

e le comunicazioni che sono non coerenti. Nel suo libro Data Analysis Using Regression e Multilevel / Hierarchical Models evita generalmente di usare questi termini e nel loro lavoro si concentra su intercettazioni e pendenze fisse o variabili tra i gruppi perché

Gli effetti fissi possono essere visti come casi speciali di effetti casuali, in cui la varianza di livello superiore (nel modello (1.1), questo sarebbe ) è impostata su 0 o ∞ . Quindi, nel nostro framework, tutti i parametri di regressione sono "casuali" e il termine "multilivello" è onnicomprensivo.$\sigma^2_\alpha$$0$$\infty$

Ciò è particolarmente vero con il framework bayesiano - comunemente usato per modelli misti - in cui tutti gli effetti sono casuali di per sé. Se stai pensando a Bayesian, non ti preoccupi davvero degli effetti "fissi" e delle stime puntuali e non hai problemi a trattare tutti gli effetti come casuali.

Più leggo su questo argomento, più sono convinto che si tratti piuttosto di una discussione ideologica su ciò che possiamo (o dovremmo) stimare e ciò che possiamo solo prevedere (qui potrei fare riferimento anche alla tua risposta ). Usi effetti casuali se hai un campione casuale di possibili esiti, quindi non ti preoccupi delle stime individuali e ti preoccupi piuttosto degli effetti della popolazione, quindi degli individui. Quindi la risposta alla tua domanda dipende anche da cosa pensi se vuoi o puoi stimare gli effetti fissi dati i tuoi dati. Se tutti i livelli possibili sono inclusi nei tuoi dati, puoi farlostimare effetti fissi - inoltre, come nel tuo esempio, il numero di livelli potrebbe essere piccolo e questo non sarebbe generalmente buono per stimare effetti casuali e ci sono alcuni requisiti minimi per questo .

Argomento dello scenario migliore

Supponiamo che tu abbia una quantità illimitata di dati e una potenza computazionale illimitata. In questo caso, potresti immaginare di stimare ogni effetto come fisso, poiché gli effetti fissi ti offrono maggiore flessibilità (ci consentono di confrontare i singoli effetti). Tuttavia, anche in questo caso, la maggior parte di noi sarebbe riluttante a usare effetti fissi per tutto.

Ad esempio, immagina di voler modellare i risultati degli esami delle scuole in alcune regioni e di avere dati su tutte le 100 scuole della regione. In questo caso si potrebbe scuole minaccia come immobilizzazioni - da quando si dispone di dati su tutti i livelli - ma in pratica probabilmente preferisce pensare di loro come casuale. Perché?

1. Una ragione è che generalmente in questo tipo di casi non sei interessato agli effetti delle singole scuole (ed è difficile confrontarle tutte), ma piuttosto una variabilità generale tra le scuole.

2. Un altro argomento qui è la parsimonia dei modelli. Generalmente non sei interessato al modello "ogni possibile influenza", quindi nel tuo modello includi pochi effetti fissi che desideri testare e controllare per le altre possibili fonti di variabilità. Ciò rende i modelli di effetti misti adatti al modo generale di pensare alla modellazione statistica in cui si valuta qualcosa e si controlla per altre cose. Con dati complicati (multilivello o gerarchici) hai molti effetti da includere, quindi ne minacci alcuni come "fissi" e altri come "casuali" per controllarli.

3. In questo scenario non penseresti nemmeno che le scuole abbiano una propria, unica, influenza sui risultati, ma piuttosto che le scuole abbiano una certa influenza in generale. Quindi questa argomentazione sarebbe che crediamo che non sia davvero possibile stimare gli effetti unici delle singole scuole e quindi li minacciamo come campione casuale di possibili effetti sulle scuole.

I modelli di effetti misti si trovano tra gli scenari "tutto risolto" e "tutto casuale". I dati che incontriamo ci spingono a ridurre le nostre aspettative riguardo alla stima di tutto come effetti fissi, quindi decidiamo quali effetti vogliamo confrontare e quali effetti vogliamo controllare, o abbiamo una sensazione generale sulla loro influenza. Non si tratta solo di quali siano i dati, ma anche di come li pensiamo mentre li modelliamo.

Sintesi

Si dice spesso che se tutti i possibili livelli di fattore sono inclusi in un modello misto, questo fattore dovrebbe essere trattato come un effetto fisso. Questo non è necessariamente vero PER DUE MOTIVI DISTINCT:

(1) Se il numero di livelli è elevato, può avere senso trattare il fattore [incrociato] come casuale.

Sono d'accordo con @Tim e @RobertLong qui: se un fattore ha un gran numero di livelli che sono tutti inclusi nel modello (come ad esempio tutti i paesi del mondo; o tutte le scuole in un paese; o forse l'intera popolazione di i soggetti vengono esaminati, ecc.), quindi non c'è nulla di sbagliato nel trattarlo come casuale --- questo potrebbe essere più parsimonioso, potrebbe fornire un certo restringimento, ecc.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Se il fattore è annidato all'interno di un altro effetto casuale, allora deve essere trattato come casuale, indipendentemente dal suo numero di livelli.

C'è stata un'enorme confusione in questa discussione (vedi commenti) perché altre risposte riguardano il caso n. 1 sopra, ma l'esempio che hai dato è un esempio di situazione diversa , vale a dire questo caso n. 2. Qui ci sono solo due livelli (cioè per niente "un gran numero"!) E esauriscono tutte le possibilità, ma sono nidificati all'interno di un altro effetto casuale , producendo un effetto casuale nidificato.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

Discussione dettagliata del tuo esempio

I lati e le materie del tuo esperimento immaginario sono correlati come classi e scuole nell'esempio di modello gerarchico standard. Forse ogni scuola (n. 1, n. 2, n. 3, ecc.) Ha classe A e classe B, e queste due classi dovrebbero essere più o meno le stesse. Non modellerai le classi A e B come effetto fisso con due livelli; Questo potrebbe essere un errore. Ma non modellerai le classi A e B come un effetto casuale "separato" (cioè incrociato) con due livelli; anche questo sarebbe un errore. Invece, modellerai le classi come un effetto casuale nidificato all'interno delle scuole.

Vedere qui: Effetti casuali incrociati vs nidificati: in che modo differiscono e come vengono specificati correttamente in lme4?

$i=1\ldots n$$j=1,2$

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

Come ti sei scritto, "non c'è motivo di credere che i piedi destri saranno in media più grandi dei piedi sinistri". Quindi non dovrebbe esserci alcun effetto "globale" (né fisso né casuale incrociato) del piede destro o sinistro; invece, si può pensare che ogni soggetto abbia "un" piede e "un altro" piede, e questa variabilità che dovremmo includere nel modello. Questi piedi "uno" e "altro" sono nidificati all'interno dei soggetti, quindi nidificati effetti casuali.

Maggiori dettagli in risposta ai commenti. [Set 26]

Il mio modello sopra include Side come effetto casuale nidificato all'interno di Soggetti. Ecco un modello alternativo, suggerito da @Robert, in cui Side è un effetto fisso:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

$ij$

Non può.

Lo stesso vale per l'ipotetico modello di @ gung con Side come effetto casuale incrociato:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

Non riesce a tenere conto anche delle dipendenze.

Dimostrazione tramite simulazione [2 ottobre]

Ecco una dimostrazione diretta in R.

Genero un set di dati giocattolo con cinque soggetti misurati su entrambi i piedi per cinque anni consecutivi. L'effetto dell'età è lineare. Ogni soggetto ha un'intercettazione casuale. E ogni soggetto ha uno dei piedi (sinistro o destro) più grande di un altro.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Mi scuso per le mie orribili abilità di R. Ecco come appaiono i dati (ogni cinque punti consecutivi è un piede di una persona misurato nel corso degli anni; ogni dieci punti consecutivi sono due piedi della stessa persona):

Ora possiamo adattare un sacco di modelli:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Tutti i modelli includono un effetto fisso di agee un effetto casuale di subject, ma trattano sidediversamente.

1. sideage$t=1.8$

2. sideage$t=1.4$

3. sideage$t=37$

Ciò dimostra chiaramente che sidedovrebbe essere trattato come un effetto casuale nidificato.

Infine, nei commenti @Robert ha suggerito di includere l'effetto globale di sidecome variabile di controllo. Possiamo farlo, mantenendo l'effetto casuale nidificato:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

side$t=0.5$side

Per aggiungere alle altre risposte:

Non credo che tu sia logicamente obbligato a usare sempre un effetto fisso nel modo descritto nel PO. Anche quando le solite definizioni / linee guida su quando trattare un fattore come casuale non sono soddisfatte, potrei essere incline a modellarlo come casuale quando ci sono un gran numero di livelli, in modo che il trattamento del fattore come fisso consumerebbe molti gradi di libertà e risultato in un modello ingombrante e meno parsimonioso.

Se stai parlando della situazione in cui conosci tutti i possibili livelli di un fattore di interesse e hai anche dati per stimare gli effetti, allora sicuramente non hai bisogno di rappresentare livelli con effetti casuali.

Il motivo per cui si desidera impostare un effetto casuale su un fattore è perché si desidera dedurre gli effetti di tutti i livelli di quel fattore, che sono generalmente sconosciuti. Per fare quel tipo di inferenza, imponi che gli effetti di tutti i livelli formino una normale distribuzione in generale. Ma data la tua impostazione del problema, puoi stimare gli effetti di tutti i livelli. Quindi non è certo necessario impostare effetti casuali e imporre ipotesi aggiuntive.

È come la situazione in cui sei in grado di ottenere tutti i valori della popolazione (quindi conosci la vera media), ma stai cercando di prelevare un grande campione dalla popolazione e utilizzare il teorema del limite centrale per approssimare la distribuzione del campionamento, e quindi dedurre sul vero significato.