In pratica, come viene calcolata la matrice di covarianza degli effetti casuali in un modello di effetti misti?

Fondamentalmente quello che mi chiedo è come vengono applicate le diverse strutture di covarianza e come vengono calcolati i valori all'interno di queste matrici. Funzioni come lme () ci permettono di scegliere quale struttura vorremmo, ma mi piacerebbe sapere come sono stimate.

Considera il modello lineare di effetti misti $Y=X\beta+Zu+\epsilon$ .

Dove $u \stackrel{d}{\sim} N(0,D)$ e $\epsilon \stackrel{d}{\sim} N(0,R)$ . Inoltre:

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

Per semplicità assumeremo $R=\sigma^2I_n$ .

Fondamentalmente la mia domanda è: come si stima esattamente dai dati per le varie parametrizzazioni? Supponiamo che assumiamo che D sia diagonale (gli effetti casuali sono indipendenti) o D completamente parametrizzato (caso al momento mi interessa di più) o qualcuna delle varie altre parametrizzazioni? Ci sono semplici stimatori / equazioni per questi? (Ciò sarebbe senza dubbio stimato in modo iterativo.)$D$$D$$D$

EDIT: Dal libro Variance Components (Searle, Casella, McCulloch 2006) sono riuscito a brillare quanto segue:

Se allora i componenti di varianza vengono aggiornati e calcolati come segue:$D=\sigma^2_uI_q$

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

Dove β ( k ) ed u ( k ) sono i k esimo aggiornamenti rispettivamente.$\hat{\beta}^{(k)}$$\hat{{u}}^{(k)}$$k$

Esistono formule generali quando è diagonale a blocchi o completamente parametrizzato? Immagino che, nel caso completamente parametrizzato, una decomposizione di Cholesky sia usata per garantire una positività e una simmetria positive.$D$

Goldstein .pdf @probabilityislogic collegato è un ottimo documento. Ecco un elenco di alcuni riferimenti che discutono la tua domanda particolare:

Harville, 1976: estensione del teorema di Gauss-Markov per includere la stima degli effetti casuali .

Harville, 1977: approcci della massima verosimiglianza alla stima dei componenti della varianza e ai problemi correlati .

Laird e Ware, 1982: modelli ad effetti casuali per dati longitudinali .

McCulloch, 1997: algoritmi di massima verosimiglianza per modelli misti lineari generalizzati .

L' estratto del Manuale dell'utente di SAS per la procedura MISTA contiene alcune ottime informazioni sulla stima della covarianza e molte altre fonti (a partire da pagina 3968).

Esistono numerosi libri di testo di qualità sull'analisi dei dati di misure longitudinali / ripetute, ma eccone uno che fornisce alcuni dettagli sull'implementazione in R (dagli autori di lme4e nlme):

Pinheiro e Bates, 2000: Modelli ad effetti misti in S e S-PLUS .

EDIT : un altro documento rilevante: Lindstrom e Bates, 1988: Newton-Raphson ed EM Algorithms per modelli lineari ad effetti misti per dati a misure ripetute .

EDIT 2 : E un altro: Jennrich e Schluchter, 1986: modelli di misure ripetute sbilanciate con matrici di covarianza strutturata .

Harvey Goldstein non è un brutto punto di partenza.

Come con i metodi di stima più complessi, varia con il pacchetto software. Tuttavia, spesso ciò che viene fatto è nei seguenti passaggi:

1. $D$$D_0$$R$$R_0$$i=1$
2. $D=D_{i-1}$$R=R_{i-1}$$\beta$$u$$\epsilon$$\beta_i$$u_i$$\epsilon_i$
3. $\beta=\beta_i$$u=u_i$$\epsilon=\epsilon_i$$D$$R$$D_i$$R_i$
4. $i=i+1$

Un metodo semplice e veloce è IGLS, che si basa sull'iterazione tra le procedure dei due minimi quadrati ed è descritto in dettaglio nel capitolo due. Il rovescio della medaglia è che non funziona bene per i componenti di varianza vicini allo zero.

Il seguente articolo fornisce una soluzione in formato chiuso per D:

• J. Shao, Mari Palta e Roger Qu, (1998), " Stima dei minimi quadrati dei parametri di regressione in modelli di effetti misti con covariate non misurate ", Communications in Statistics - Theory and Methods , 27: 6, 1487-1501, DOI: 10.1080 / 03610929808832172

altri due riferimenti che potrebbero essere utili Variance Components di Searle Et al e Lynch e Walsh Genetics and Analysis of Quantitative Trits . Il libro di Lynch e Walsh fornisce un algoritmo graduale se ricordo bene