Intuizione sulla stima dei parametri in modelli misti (parametri di varianza vs. modalità condizionali)

Ho letto molte volte che gli effetti casuali (BLUP / modalità condizionate per, per esempio, soggetti) non sono parametri di un modello lineare di effetti misti ma possono invece essere derivati ​​dai parametri di varianza / covarianza stimati. Ad esempio Reinhold Kliegl et al. (2011) dichiara:

Gli effetti casuali sono le deviazioni dei soggetti dalla RT media e le deviazioni dei soggetti dai parametri degli effetti fissi. Si presume che siano indipendenti e normalmente distribuiti con una media di 0. È importante riconoscere che questi effetti casuali non sono parametri dell'LMM, ma solo le loro varianze e covarianze. [...] I parametri LMM in combinazione con i dati dei soggetti possono essere utilizzati per generare "previsioni" (modalità condizionali) di effetti casuali per ciascun soggetto.

Qualcuno può dare una spiegazione intuitiva di come i parametri (co) varianza degli effetti casuali possono essere stimati senza effettivamente utilizzare / stimare gli effetti casuali?

Considera un modello misto lineare semplice, ad esempio un modello di intercettazione casuale in cui stimiamo la dipendenza di su x in soggetti diversi e supponiamo che ogni soggetto abbia una propria intercettazione casuale: y = a + b x + c i + ϵ . Qui le intercettazioni c i sono modellate come provenienti da una distribuzione gaussiana c i ∼ N ( 0 , τ 2 ) e il rumore casuale è anche gaussiano ϵ ∼ N ( 0 , ) $y$$x$

$$y = a + bx + c_i + \epsilon.$$ $c_i$ $$c_i\sim \mathcal N(0, \tau^2)$$ $$\epsilon \sim \mathcal N(0, \sigma^2).$$ Nel lme4 sintassi questo modello verrebbe scritto come y ~ x + (1|subject).

È istruttivo riscrivere quanto sopra come segue:

$$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$$

Questo è un modo più formale per specificare lo stesso modello probabilistico. Da questa formulazione possiamo vedere direttamente che gli effetti casuali non sono "parametri": sono variabili casuali non osservate. Quindi, come possiamo stimare i parametri di varianza senza conoscere i valori di c ?$c_i$$c$

Si noti che la prima equazione sopra descrive la distribuzione condizionale di data c . Se conosciamo la distribuzione di c e di y ∣ c , allora possiamo elaborare la distribuzione incondizionata di y integrando su c . Potresti conoscerlo come la Legge della probabilità totale . Se entrambe le distribuzioni sono gaussiane, anche la distribuzione incondizionata risultante è gaussiana.$y$$c$$c$$y\mid c$$y$$c$

In questo caso la distribuzione incondizionata è semplicemente , ma le nostre osservazioni non ne sono prive di campioni perché ci sono più misurazioni per soggetto. Per procedere, dobbiamo considerare la distribuzione dell'intero vettore n- dimensionale y di tutte le osservazioni: y ∼ N ( a + b x , Σ ) dove Σ = σ 2 I n + τ 2 $\mathcal N(a + bx, \sigma^2+\tau^2)$$n$$\mathbf y$

$$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$$ è una matrice diagonale a blocchi composta da σ 2 e τ 2 . Hai chiesto intuizione, quindi voglio evitare la matematica. Il punto importante è che questa equazione non hapiù c ! Questoè ciò che uno in realtà si adatta ai dati osservati, ed è per questo si dice che c $\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$$\sigma^2$$\tau^2$$c$$c_i$ non sono i parametri del modello.

Quando i parametri , b , τ 2 e σ 2 sono adeguati, si può calcolare la distribuzione condizionale di c i per ciascuno i . Quello che vedi nell'output del modello misto sono le modalità di queste distribuzioni, ovvero le modalità condizionali.$a$$b$$\tau^2$$\sigma^2$$c_i$$i$

Puoi facilmente stimare i parametri di varianza e covarianza senza fare affidamento su effetti casuali usando effetti fissi (vedi qui per una discussione effetti fissi vs. effetti casuali; sii consapevole del fatto che esistono diverse definizioni di questi termini).

Gli effetti fissi possono essere facilmente derivati ​​aggiungendo una variabile indicatore (binaria) per ciascun gruppo (o ogni periodo di tempo o qualunque cosa tu stia pensando di usare come effetti casuali; questo è equivalente alla trasformazione interna). Ciò consente di stimare facilmente gli effetti fissi (che possono essere visualizzati come parametro).

L'assunzione di effetti fissi non richiede che tu assuma la distribuzione degli effetti fissi, puoi facilmente stimare la varianza degli effetti fissi (sebbene questo estremamente rumore se il numero di osservazioni all'interno di ciascun gruppo è piccolo; minimizzano la propensione per la spesa di una varianza molto più grande rispetto agli effetti casuali perché si perde un grado di libertà per ciascun gruppo aggiungendo queste variabili indicatore). Puoi anche stimare le covarianze tra diversi insiemi di effetti fissi o tra effetti fissi e altre covariate. Lo abbiamo fatto per esempio in un documento chiamato Equilibrio competitivo e abbinamento assortimento nella Bundesliga tedesca per stimare se i migliori calciatori giocano sempre più per squadre migliori.

Gli effetti casuali richiedono un'ipotesi preliminare sulla covarianza. Nei modelli classici di effetti casuali, si assume che gli effetti casuali siano come un errore e siano indipendenti dalle altre covariate (in modo da poterli ignorare e usare OLS e ottenere stime coerenti anche se inefficienti per l'altro parametro se le ipotesi del modello a effetti casuali è vero).

Ulteriori ulteriori informazioni tecniche sono disponibili qui . Andrew Gelman ha anche un sacco di lavoro più intuitivo su questo nel suo bel libro Analisi dei dati usando la regressione e modelli multilivello / gerarchici