Perché i modelli di effetti misti risolvono la dipendenza?

Supponiamo che siamo interessati a come i voti degli esami degli studenti sono influenzati dal numero di ore che quegli studenti studiano. Per esplorare questa relazione, potremmo eseguire la seguente regressione lineare:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$$

Ma se campioniamo gli alunni di diverse scuole, potremmo aspettarci che gli alunni della stessa scuola siano più simili tra loro rispetto agli alunni di scuole diverse. Per far fronte a questo problema di dipendenza, il consiglio di molti libri di testo / sul web è di eseguire effetti misti e di entrare a scuola come effetto casuale. Quindi il modello diventerebbe:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$$ Ma perché questo risolve il problema di dipendenza che era presente nella regressione lineare?

Ti preghiamo di rispondere come se stessi parlando con un bambino di 12 anni

Includere termini casuali nel modello è un modo per indurre una struttura di covarianza tra i voti. Il fattore casuale per la scuola induce una covarianza diversa da zero tra studenti diversi della stessa scuola, mentre è quando la scuola è diversa.$0$

Scriviamo il tuo modello come dove s indicizza la scuola e io indicizza gli studenti (in ogni scuola). I termini della scuola s sono variabili aleatorie indipendenti disegnati in uno N ( 0 , T si ) . Le e s , i sono variabili indipendenti casuali disegnati in uno N ( 0 ,

$$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$$ $s$$i$$\text{school}_s$$\mathcal N(0, \tau)$$e_{s, i}$ .$\mathcal N(0, \sigma^2)$

Questo vettore ha un valore atteso che è determinato dal numero di ore lavorate.

$$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$$

La covarianza tra e Y s ′ , i ′ è 0 quando s ≠ s ′ , il che significa che la partenza dei voti dai valori previsti è indipendente quando gli studenti non sono nella stessa scuola.$Y_{s,i}$$Y_{s',i'}$$0$$s \ne s'$

La covarianza tra e Y s , i ′ è τ quando i ≠ i ′ e la varianza di Y s , i è τ + σ 2 : i voti degli studenti della stessa scuola avranno correlato gli scostamenti dai loro valori previsti .$Y_{s,i}$$Y_{s,i'}$$\tau$$i \ne i'$$Y_{s,i}$$\tau + \sigma^2$

Esempio e dati simulati

Ecco una breve simulazione R per cinquanta studenti di cinque scuole (qui prendo ); i nomi della variabile sono auto documentanti: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

Tracciamo le partenze dal voto previsto per ogni studente, cioè i termini , insieme a (linea tratteggiata) la partenza media per ogni scuola:$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

Ora commentiamo questa trama. Il livello di ciascuna linea tratteggiata (corrispondente alla ) è disegnato in modo casuale in una legge normale. I termini casuali specifici dello studente sono anche disegnati a caso in una legge normale, corrispondono alla distanza dei punti dalla linea tratteggiata. Il valore risultante è, per ogni studente, la partenza da α + ore β , il voto determinato dal tempo impiegato per lavorare. Di conseguenza, gli alunni della stessa scuola sono più simili tra loro rispetto agli alunni di scuole diverse, come hai affermato nella tua domanda.$\text{school}_s$$\alpha + \text{hours} \beta$

La matrice di varianza per questo esempio

Nelle simulazioni di cui sopra attingiamo a parte la scuola effetti e gli effetti individuali e s , i , quindi le considerazioni di covarianza con cui ho iniziato non sembrano chiaramente qui. In effetti, avremmo ottenuto risultati simili disegnando un vettore normale casuale di dimensione 50 con matrice di covarianza a blocchi diagonali [ A 0 0 0 0 0 A 0 0 0 0 0 A 0 0 0 0 0 A 0 0 0 0 0 A ] dove ciascuno dei cinque$\text{school}_s$$e_{s,i}$

$$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$$ blocchi A corrispondono alla covarianza tra gli studenti di una stessa scuola: A = [ 2 1 1 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 1 1 2 $10\times 10$$A$ $$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$$