L'aggiunta di effetti casuali influenza le stime dei coefficienti

Mi è sempre stato insegnato che gli effetti casuali influenzano solo la varianza (errore) e che gli effetti fissi influenzano solo la media. Ma ho trovato un esempio in cui gli effetti casuali influenzano anche la media - la stima del coefficiente:

require(nlme)
set.seed(128)
n <- 100
k <- 5
cat <- as.factor(rep(1:k, each = n))
cat_i <- 1:k # intercept per kategorie
x <- rep(1:n, k)
sigma <- 0.2
alpha <- 0.001
y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma)
plot(x, y)

# simulate missing data
y[c(1:(n/2), (n*k-n/2):(n*k))] <- NA

m1 <- lm(y ~ x)
summary(m1)

m2 <- lm(y ~ cat + x)
summary(m2)

m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit)
summary(m3)

Puoi vedere che il coefficiente stimato per xdal modello m1è -0,013780, mentre dal modello m3è 0,0011713 - entrambi significativamente diversi da zero.

Si noti che quando rimuovo la riga che simula i dati mancanti, i risultati sono gli stessi (è matrice completa).

Perché?

PS: tieni presente che non sono uno statistico professionista, quindi se stai per rispondere con molta matematica, ti preghiamo di fare anche un semplice riassunto per i manichini :-)

"Mi è sempre stato insegnato che gli effetti casuali influenzano solo la varianza (errore) e che gli effetti fissi influenzano solo la media."

Come hai scoperto, questo vale solo per set di dati bilanciati, completi (ovvero senza dati mancanti) senza predittori continui. In altre parole, per i tipi di dati / modelli discussi nei testi classici ANOVA. In queste circostanze ideali, gli effetti fissi e gli effetti casuali possono essere stimati indipendentemente l'uno dall'altro.

Quando queste condizioni non valgono (come molto spesso non fanno nel "mondo reale"), gli effetti fissi e casuali non sono indipendenti. A parte questo, è per questo che i modelli misti "moderni" sono stimati usando metodi di ottimizzazione iterativa, piuttosto che essere risolti esattamente con un po 'di algebra matriciale come nel classico caso misto ANOVA: per stimare gli effetti fissi, dobbiamo conoscere gli effetti casuali, ma per stimare gli effetti casuali, dobbiamo conoscere gli effetti fissi! Più rilevante per la presente domanda, ciò significa anche che quando i dati sono sbilanciati / incompleti e / o ci sono predittori continui nel modello, quindi la regolazione della struttura degli effetti casuali del modello misto può alterare le stime della parte fissa del modello , e viceversa.

Modifica 05/07/2016. Dai commenti: " Potresti elaborare o fornire una citazione sul perché i predittori continui influenzeranno le stime della parte fissa del modello? "

Le stime per la parte fissa del modello dipenderanno dalle stime per la parte casuale del modello, ovvero i componenti della varianza stimata, se (ma non solo se) la varianza dei predittori differisce tra i cluster. Il che sarà quasi certamente vero se uno dei predittori fosse continuo (almeno nei dati del "mondo reale" - in teoria sarebbe possibile che ciò non fosse vero, ad esempio in un set di dati costruito).

Al primo livello, penso che tutti voi stiate ignorando il restringimento verso i valori della popolazione; " le pendenze e le intercettazioni per soggetto dal modello a effetti misti sono più vicine alle stime della popolazione rispetto alle stime dei minimi quadrati all'interno del soggetto. " [rif. 1]. Il seguente link probabilmente sarà anche di aiuto ( Quali sono i descrittori adeguati per cercare i miei modelli misti? ), Vedi la risposta di Mike Lawrence).

Inoltre, penso che tu sia leggermente sfortunato nell'esempio del tuo giocattolo perché hai un design perfettamente bilanciato che ti fa avere la stessa stima esatta nel caso in cui non ci siano valori mancanti.

Prova il seguente codice che ha lo stesso processo senza valore mancante ora:

 cat <- as.factor(sample(1:5, n*k, replace=T) ) #This should be a bit unbalanced.
 cat_i <- 1:k # intercept per kategorie
 x <- rep(1:n, k)
 sigma <- 0.2
 alpha <- 0.001
 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) 

 m1 <- lm(y ~ x)  
 m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit) 

 round(digits= 7,fixef(m3)) ==  round(digits=7, coef(m1)) #Not this time lad.
 #(Intercept)           x 
 #      FALSE       FALSE 

Dove ora, poiché il tuo design non è perfettamente bilanciato, non hai le stesse stime dei coefficienti.

In realtà se giochi con il tuo modello di valore mancante in modo sciocco (quindi per esempio:) y[ c(1:10, 100 + 1:10, 200 + 1:10, 300 + 1:10, 400 +1:10)] <- NAquindi il tuo design è ancora perfettamente bilanciato otterrai di nuovo gli stessi coefficienti.

 require(nlme)
 set.seed(128)
 n <- 100
 k <- 5
 cat <- as.factor(rep(1:k, each = n))
 cat_i <- 1:k # intercept per kategorie
 x <- rep(1:n, k)
 sigma <- 0.2
 alpha <- 0.001
 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma)
 plot(x, y)

 # simulate missing data in a perfectly balanced way
 y[ c(1:10, 100 + 1:10, 200 + 1:10, 300 + 1:10, 400 +1:10)] <- NA

 m1 <- lm(y ~ x)  
 m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit) 

 round(digits=7,fixef(m3)) ==  round(digits=7, coef(m1)) #Look what happend now...
 #(Intercept)           x 
 #       TRUE        TRUE 

Sei leggermente fuorviato dal design perfetto del tuo esperimento originale. Quando hai inserito le NA in una distanza non bilanciata, hai cambiato il modello di quanta "forza" i singoli soggetti potevano prendere in prestito l'uno dall'altro.

In breve, le differenze che si vedono sono dovute agli effetti di restringimento e più precisamente perché hai distorto il tuo design originale perfettamente bilanciato con valori mancanti non perfettamente bilanciati.

Rif.1 : Douglas Bates lme4: modellazione di effetti misti con R , pagine 71-72