Effetto fisso vs effetto casuale quando tutte le possibilità sono incluse in un modello di effetti misti


15

In un modello a effetti misti la raccomandazione è di usare un effetto fisso per stimare un parametro se sono inclusi tutti i livelli possibili (ad esempio, sia maschi che femmine). Si consiglia inoltre di utilizzare un effetto casuale per tenere conto di una variabile se i livelli inclusi sono solo un campione casuale di una popolazione (pazienti arruolati dall'universo di possibili pazienti) e si desidera stimare la media e la varianza della popolazione anziché le medie dei singoli livelli dei fattori.

Mi chiedo se sei logicamente obbligato a usare sempre un effetto fisso in questo modo. Considera uno studio su come le dimensioni del piede / della scarpa cambiano attraverso lo sviluppo ed è correlato, per esempio, all'altezza, al peso e all'età. Sidechiaramente deve essere incluso nel modello in qualche modo per tenere conto del fatto che le misurazioni nel corso degli anni sono nidificate in un dato piede e non sono indipendenti. Inoltre, destra e sinistra sono tutte le possibilità che possono esistere. Inoltre, può essere vero che per un determinato partecipante il suo piede destro è più grande (o più piccolo) di quello sinistro. Tuttavia, sebbene le dimensioni del piede differiscano leggermente tra i piedi per tutte le persone, non c'è motivo di credere che i piedi giusti saranno in media più grandi dei piedi sinistri. Se sono nel tuo campione, ciò è presumibilmente dovuto a qualcosa sulla genetica delle persone nel tuo campione, piuttosto che a qualcosa di intrinseco al piede destro. Infine, side sembra un parametro di disturbo, non qualcosa che si ha realmente a cuore.

Vorrei sottolineare che ho inventato questo esempio. Potrebbe non essere buono; è solo per far passare l'idea. Per quanto ne so, per sopravvivere nel paleolitico era necessario avere un grande piede destro e un piccolo piede sinistro.

In un caso come questo, avrebbe senso (più / meno / alcuno) integrare side nel modello come effetto casuale? Quali sarebbero i pro e i contro dell'utilizzo di un effetto fisso vs. casuale qui?


perché vorresti trattare il lato come un fattore casuale dato che ci sono due e solo due livelli del fattore? Da dove viene la casualità nella tua impostazione del problema?
Aaron Zeng,

@AaronZeng, mettendo da parte la qualità del mio esempio, questa è la mia domanda. C'è mai motivo di rappresentare livelli con effetti casuali se hai tutti i livelli possibili. E se il fattore in questione avesse> 2 livelli?
gung - Ripristina Monica

1
@gung Sono appena tornato a questo thread - una delle risposte ha aiutato? In caso contrario, che altro ti interessa imparare? Forse hai la tua risposta (se sì, sarei interessato a saperne di più su questo problema!)?
Tim

2
È passato molto tempo da quando sono tornato qui, @Tim. Apprezzo entrambe le risposte (le ho votate a fondo), ma non sono proprio quello che stavo cercando (probabilmente a causa di una dichiarazione di domanda insufficientemente chiara). Ho pensato di compilare una risposta da alcune cose che Ben Bolker ha pubblicato in vari posti, ma sarebbe un po 'di lavoro e in realtà non l'ho mai fatto. È comunque qualcosa che dovrei fare, comunque. Grazie per la spinta.
gung - Ripristina Monica

Risposte:


13

Il problema generale con gli effetti "fissi" e "casuali" è che non sono definiti in modo coerente. Andrew Gelman ne cita alcuni:

(1) Gli effetti fissi sono costanti tra gli individui e gli effetti casuali variano. Ad esempio, in uno studio sulla crescita, un modello con intercettazioni casuali e pendenza fissa b corrispondono a linee parallele per diversi individui i , oppure il modello y i t = a i + b t . Kreft e De Leeuw (1998) distinguono quindi tra coefficienti fissi e casuali.un'ioBioyiot=un'io+Bt

(2) Gli effetti sono fissi se sono interessanti in se stessi o casuali se vi è interesse per la popolazione sottostante. Searle, Casella e McCulloch (1992, Sezione 1.4) esplorano questa distinzione in profondità.

(3) “Quando un campione esaurisce la popolazione, viene fissata la variabile corrispondente; quando il campione è una piccola parte (cioè trascurabile) della popolazione, la variabile corrispondente è casuale. ”(Green and Tukey, 1960)

(4) "Se si presume che un effetto sia un valore realizzato di una variabile casuale, viene chiamato un effetto casuale." (LaMotte, 1983)

(5) Gli effetti fissi sono stimati usando i minimi quadrati (o, più in generale, la massima verosimiglianza) e gli effetti casuali sono stimati con il restringimento ("previsione imparziale lineare" nella terminologia di Robinson, 1991). Questa definizione è standard nella letteratura di modellistica multilivello (vedere, ad esempio, Snijders e Bosker, 1999, Sezione 4.2) e in econometria.

e le comunicazioni che sono non coerenti. Nel suo libro Data Analysis Using Regression e Multilevel / Hierarchical Models evita generalmente di usare questi termini e nel loro lavoro si concentra su intercettazioni e pendenze fisse o variabili tra i gruppi perché

Gli effetti fissi possono essere visti come casi speciali di effetti casuali, in cui la varianza di livello superiore (nel modello (1.1), questo sarebbe ) è impostata su 0 o . Quindi, nel nostro framework, tutti i parametri di regressione sono "casuali" e il termine "multilivello" è onnicomprensivo.σα20

Ciò è particolarmente vero con il framework bayesiano - comunemente usato per modelli misti - in cui tutti gli effetti sono casuali di per sé. Se stai pensando a Bayesian, non ti preoccupi davvero degli effetti "fissi" e delle stime puntuali e non hai problemi a trattare tutti gli effetti come casuali.

Più leggo su questo argomento, più sono convinto che si tratti piuttosto di una discussione ideologica su ciò che possiamo (o dovremmo) stimare e ciò che possiamo solo prevedere (qui potrei fare riferimento anche alla tua risposta ). Usi effetti casuali se hai un campione casuale di possibili esiti, quindi non ti preoccupi delle stime individuali e ti preoccupi piuttosto degli effetti della popolazione, quindi degli individui. Quindi la risposta alla tua domanda dipende anche da cosa pensi se vuoi o puoi stimare gli effetti fissi dati i tuoi dati. Se tutti i livelli possibili sono inclusi nei tuoi dati, puoi farlostimare effetti fissi - inoltre, come nel tuo esempio, il numero di livelli potrebbe essere piccolo e questo non sarebbe generalmente buono per stimare effetti casuali e ci sono alcuni requisiti minimi per questo .

Argomento dello scenario migliore

Supponiamo che tu abbia una quantità illimitata di dati e una potenza computazionale illimitata. In questo caso, potresti immaginare di stimare ogni effetto come fisso, poiché gli effetti fissi ti offrono maggiore flessibilità (ci consentono di confrontare i singoli effetti). Tuttavia, anche in questo caso, la maggior parte di noi sarebbe riluttante a usare effetti fissi per tutto.

Ad esempio, immagina di voler modellare i risultati degli esami delle scuole in alcune regioni e di avere dati su tutte le 100 scuole della regione. In questo caso si potrebbe scuole minaccia come immobilizzazioni - da quando si dispone di dati su tutti i livelli - ma in pratica probabilmente preferisce pensare di loro come casuale. Perché?

  1. Una ragione è che generalmente in questo tipo di casi non sei interessato agli effetti delle singole scuole (ed è difficile confrontarle tutte), ma piuttosto una variabilità generale tra le scuole.

  2. Un altro argomento qui è la parsimonia dei modelli. Generalmente non sei interessato al modello "ogni possibile influenza", quindi nel tuo modello includi pochi effetti fissi che desideri testare e controllare per le altre possibili fonti di variabilità. Ciò rende i modelli di effetti misti adatti al modo generale di pensare alla modellazione statistica in cui si valuta qualcosa e si controlla per altre cose. Con dati complicati (multilivello o gerarchici) hai molti effetti da includere, quindi ne minacci alcuni come "fissi" e altri come "casuali" per controllarli.

  3. In questo scenario non penseresti nemmeno che le scuole abbiano una propria, unica, influenza sui risultati, ma piuttosto che le scuole abbiano una certa influenza in generale. Quindi questa argomentazione sarebbe che crediamo che non sia davvero possibile stimare gli effetti unici delle singole scuole e quindi li minacciamo come campione casuale di possibili effetti sulle scuole.

I modelli di effetti misti si trovano tra gli scenari "tutto risolto" e "tutto casuale". I dati che incontriamo ci spingono a ridurre le nostre aspettative riguardo alla stima di tutto come effetti fissi, quindi decidiamo quali effetti vogliamo confrontare e quali effetti vogliamo controllare, o abbiamo una sensazione generale sulla loro influenza. Non si tratta solo di quali siano i dati, ma anche di come li pensiamo mentre li modelliamo.


Molti buoni punti qui, @Tim. Mi chiedo quale sia la tua opinione sull'esempio del gung nell'OP; c'è stata una lunga discussione nei commenti sotto la mia risposta, ma penso che ormai sia finalmente più o meno risolto. Sarebbe bello sapere se sei d'accordo o forse non sei d'accordo con quello che ho scritto.
ameba dice che ripristini Monica il

@amoeba è una risposta interessante (ho già fatto +1) e sono d'accordo con il tuo punto. Penso che essenzialmente il gung sia giusto (lo stesso di Gelman - che ha sempre ragione :)) che non esiste una sola risposta. Esiste una vasta letteratura e molteplici modi per utilizzare modelli di effetti misti e nessuna distinzione netta. Inoltre, ci sono persone che per impostazione predefinita usano sempre effetti fissi per tutto e ci sono quelli che usano effetti casuali ogni volta che possono, anche nei casi che generalmente preferiremmo considerare come effetti fissi ... Dipende anche da cosa esattamente vuoi modello.
Tim

13

Sintesi

Si dice spesso che se tutti i possibili livelli di fattore sono inclusi in un modello misto, questo fattore dovrebbe essere trattato come un effetto fisso. Questo non è necessariamente vero PER DUE MOTIVI DISTINCT:

(1) Se il numero di livelli è elevato, può avere senso trattare il fattore [incrociato] come casuale.

Sono d'accordo con @Tim e @RobertLong qui: se un fattore ha un gran numero di livelli che sono tutti inclusi nel modello (come ad esempio tutti i paesi del mondo; o tutte le scuole in un paese; o forse l'intera popolazione di i soggetti vengono esaminati, ecc.), quindi non c'è nulla di sbagliato nel trattarlo come casuale --- questo potrebbe essere più parsimonioso, potrebbe fornire un certo restringimento, ecc.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Se il fattore è annidato all'interno di un altro effetto casuale, allora deve essere trattato come casuale, indipendentemente dal suo numero di livelli.

C'è stata un'enorme confusione in questa discussione (vedi commenti) perché altre risposte riguardano il caso n. 1 sopra, ma l'esempio che hai dato è un esempio di situazione diversa , vale a dire questo caso n. 2. Qui ci sono solo due livelli (cioè per niente "un gran numero"!) E esauriscono tutte le possibilità, ma sono nidificati all'interno di un altro effetto casuale , producendo un effetto casuale nidificato.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

Discussione dettagliata del tuo esempio

I lati e le materie del tuo esperimento immaginario sono correlati come classi e scuole nell'esempio di modello gerarchico standard. Forse ogni scuola (n. 1, n. 2, n. 3, ecc.) Ha classe A e classe B, e queste due classi dovrebbero essere più o meno le stesse. Non modellerai le classi A e B come effetto fisso con due livelli; Questo potrebbe essere un errore. Ma non modellerai le classi A e B come un effetto casuale "separato" (cioè incrociato) con due livelli; anche questo sarebbe un errore. Invece, modellerai le classi come un effetto casuale nidificato all'interno delle scuole.

Vedere qui: Effetti casuali incrociati vs nidificati: in che modo differiscono e come vengono specificati correttamente in lme4?

io=1...nj=1,2

TagliaiojK=μ+αAltezzaiojK+βPesoiojK+γEtàiojK+εio+εioj+εiojK
εio~N(0,σSuBjectS2),Intercettazione casuale per ogni soggetto
εioj~N(0,σsoggetto-side2),Int casuale per lato annidato nel soggetto
εiojK~N(0,σrumore2),Termine di errore

Come ti sei scritto, "non c'è motivo di credere che i piedi destri saranno in media più grandi dei piedi sinistri". Quindi non dovrebbe esserci alcun effetto "globale" (né fisso né casuale incrociato) del piede destro o sinistro; invece, si può pensare che ogni soggetto abbia "un" piede e "un altro" piede, e questa variabilità che dovremmo includere nel modello. Questi piedi "uno" e "altro" sono nidificati all'interno dei soggetti, quindi nidificati effetti casuali.

Maggiori dettagli in risposta ai commenti. [Set 26]

Il mio modello sopra include Side come effetto casuale nidificato all'interno di Soggetti. Ecco un modello alternativo, suggerito da @Robert, in cui Side è un effetto fisso:

TagliaiojK=μ+αAltezzaiojK+βPesoiojK+γEtàiojK+δLatoj+εio+εiojK

ioj

Non può.

Lo stesso vale per l'ipotetico modello di @ gung con Side come effetto casuale incrociato:

TagliaiojK=μ+αAltezzaiojK+βPesoiojK+γEtàiojK+εio+εj+εiojK

Non riesce a tenere conto anche delle dipendenze.

Dimostrazione tramite simulazione [2 ottobre]

Ecco una dimostrazione diretta in R.

Genero un set di dati giocattolo con cinque soggetti misurati su entrambi i piedi per cinque anni consecutivi. L'effetto dell'età è lineare. Ogni soggetto ha un'intercettazione casuale. E ogni soggetto ha uno dei piedi (sinistro o destro) più grande di un altro.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Mi scuso per le mie orribili abilità di R. Ecco come appaiono i dati (ogni cinque punti consecutivi è un piede di una persona misurato nel corso degli anni; ogni dieci punti consecutivi sono due piedi della stessa persona):

inserisci qui la descrizione dell'immagine

Ora possiamo adattare un sacco di modelli:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Tutti i modelli includono un effetto fisso di agee un effetto casuale di subject, ma trattano sidediversamente.

  1. sideaget=1.8

  2. sideaget=1.4

  3. sideaget=37

Ciò dimostra chiaramente che sidedovrebbe essere trattato come un effetto casuale nidificato.

Infine, nei commenti @Robert ha suggerito di includere l'effetto globale di sidecome variabile di controllo. Possiamo farlo, mantenendo l'effetto casuale nidificato:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

sidet=0.5side


2
Non credo davvero che, in questo esempio, sidesoddisfi nessuna delle solite definizioni / linee guida su quando un fattore dovrebbe essere trattato come casuale o fisso. In particolare, fare inferenze oltre i livelli campionati del fattore non ha senso. Inoltre, con solo 2 livelli del fattore, trattarlo come fisso sembra un modo inequivocabile e diretto di avvicinarsi alla modellazione.
Robert Long,

Robert, grazie per la risposta. O sono completamente confuso o non sono riuscito a spiegare correttamente cosa intendo. Trattare sidecome un effetto fisso significa supporre che uno dei lati (ad es. Destra) sia sempre più grande dell'altro (Sinistra), di una certa quantità. Questo importo è uguale per tutte le persone. Questo non è esplicitamente ciò che l'OP aveva in mente. Ha scritto che in alcune persone la destra potrebbe essere più grande e in altre persone la sinistra. Tuttavia, dobbiamo tenere conto della sidecausa di errori correlati. Perché allora non possiamo trattare come un effetto casuale nidificato? È esattamente come le lezioni nelle scuole.
ameba dice Reinstate Monica il

Non so che implica necessariamente questo. Ciò che dice è che, in questo esempio, potrebbe esserci una differenza sistematica tra i lati (che può essere o meno un artefatto a causa della variazione del campionamento). Preferisco pensare di includerlo come un effetto fisso come "controllo" per la non indipendenza e niente di più - nello stesso modo in cui aggiungeremmo un confondente a un modello e non sogneremmo nemmeno di provare a interpretare il suo coefficiente.
Robert Long,

2
Sto votando la tua risposta dopo ulteriori riflessioni. Sollevi alcuni punti davvero interessanti. Non ho tempo al momento di approfondire la matematica di questo. Mi piacerebbe trovare un set di dati giocattolo con cui giocare, se possibile (se ne conosci uno, per favore fatemelo sapere)
Robert Long,

2
+1, su ulteriori riflessioni, sembra che tu abbia ragione sulle peculiarità di questo studio. Il punto più grande è che non c'è una sola risposta all'effetto fisso vs casuale quando tutte le possibilità sono incluse e ogni caso deve essere valutato individualmente, mi chiedo?
gung - Ripristina Monica

7

Per aggiungere alle altre risposte:

Non credo che tu sia logicamente obbligato a usare sempre un effetto fisso nel modo descritto nel PO. Anche quando le solite definizioni / linee guida su quando trattare un fattore come casuale non sono soddisfatte, potrei essere incline a modellarlo come casuale quando ci sono un gran numero di livelli, in modo che il trattamento del fattore come fisso consumerebbe molti gradi di libertà e risultato in un modello ingombrante e meno parsimonioso.


Sembra un punto ragionevole e apprezzo che non sei stato accecato dal mio esempio. Ne ricavo, e il tuo commento alla risposta di @ amoeba, che "quando ci sono molti livelli" (vs "con solo 2 livelli del fattore") sembra essere la chiave.
gung - Ripristina Monica

1
+1 perché sono d'accordo con questo punto, mi ha fatto impazzire il fatto che non sono riuscito a spiegare il mio punto e che né tu né @gung vedete cosa intendevo dire. Trattare l' sideeffetto fisso o incrociato significa necessariamente supporre che uno dei lati (ad es. Destra) sia sempre più grande dell'altro (Sinistra), per tutti i soggetti. Questo non è esplicitamente ciò che Gung ha scritto nel suo PO, affermando che "non c'è motivo di credere che i piedi giusti saranno in media più grandi dei piedi sinistri". Vedo ancora l'esempio di Gung come un chiaro caso di effetti casuali nidificati, in piena analogia con le classi all'interno delle scuole.
ameba dice Reinstate Monica il

@amoeba punto interessante ma non sono d'accordo. Commenterò nei commenti la tua risposta ...
Robert Long,

4

Se stai parlando della situazione in cui conosci tutti i possibili livelli di un fattore di interesse e hai anche dati per stimare gli effetti, allora sicuramente non hai bisogno di rappresentare livelli con effetti casuali.

Il motivo per cui si desidera impostare un effetto casuale su un fattore è perché si desidera dedurre gli effetti di tutti i livelli di quel fattore, che sono generalmente sconosciuti. Per fare quel tipo di inferenza, imponi che gli effetti di tutti i livelli formino una normale distribuzione in generale. Ma data la tua impostazione del problema, puoi stimare gli effetti di tutti i livelli. Quindi non è certo necessario impostare effetti casuali e imporre ipotesi aggiuntive.

È come la situazione in cui sei in grado di ottenere tutti i valori della popolazione (quindi conosci la vera media), ma stai cercando di prelevare un grande campione dalla popolazione e utilizzare il teorema del limite centrale per approssimare la distribuzione del campionamento, e quindi dedurre sul vero significato.


2
Un commento: a volte hai tutti i livelli ma usi comunque l'effetto casuale per loro. Ad esempio, conduci uno studio nazionale sull'educazione e disponi di dati su tutte le scuole, ma utilizzerai comunque l'effetto casuale per le scuole anziché utilizzare i manichini per ogni scuola.
Tim
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.