Perché è necessario utilizzare REML (anziché ML) per scegliere tra i modelli var-covar nidificati?

Varie descrizioni sulla selezione del modello sugli effetti casuali dei Modelli misti lineari indicano l'uso del REML. Conosco la differenza tra REML e ML ad un certo livello, ma non capisco perché REML debba essere usato perché ML è di parte. Ad esempio, è sbagliato condurre un LRT su un parametro di varianza di un modello di distribuzione normale usando ML (vedere il codice seguente)? Non capisco perché sia ​​più importante essere imparziali che essere ML, nella selezione del modello. Penso che la risposta definitiva debba essere "perché la selezione del modello funziona meglio con REML che con ML", ma vorrei sapere un po 'di più. Non ho letto le derivazioni di LRT e AIC (non sono abbastanza bravo da capirle a fondo), ma se REML è esplicitamente usato nelle derivazioni, sapendo che sarà effettivamente sufficiente (ad es.

n <- 100
a <- 10
b <- 1
alpha <- 5
beta <- 1
x <- runif(n,0,10)
y <- rnorm(n,a+b*x,alpha+beta*x)

loglik1 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
  -sum(dnorm(y,a+b*x,alpha,log=T))
}

loglik2 <- function(p,x,y){
   a <- p[1]
   b <- p[2]
   alpha <- p[3]
   beta <- p[4]
  -sum(dnorm(y,a+b*x,alpha+beta*x,log=T))
}

m1 <- optim(c(a,b,alpha),loglik1,x=x,y=y)$value
m2 <- optim(c(a,b,alpha,beta),loglik2,x=x,y=y)$value
D <- 2*(m1-m2)
1-pchisq(D,df=1) # p-value

Una risposta molto breve: il REML è un ML, quindi il test basato sul REML è corretto comunque. Poiché la stima dei parametri di varianza con REML è migliore, è naturale utilizzarla.

Perché REML è un ML? Consideriamo ad esempio un modello con X ∈ R n × p , Z ∈ R n × q e β ∈ R p è il vettore degli effetti fissi, u ∼ N ( 0 ,

$$Y = X\beta + Zu + e \def\R{\mathbb{R}}$$ $X\in\R^{n\times p}$$Z\in\R^{n\times q}$$\beta \in \R^p$ è il vettore di effetti casuali ed e ∼ N ( 0 , σ 2 I n$u \sim \mathcal N(0, \tau I_q)$$e \sim \mathcal N(0, \sigma^2 I_n)$. La probabilità limitata può essere ottenuta considerando i contrasti per "rimuovere" gli effetti fissi. Più precisamente, sia C ∈ R ( n - p ) × n , tale che C X = 0 e C C ′ = I n - p (ovvero, le colonne di C ′ sono una base ortonormale dello spazio vettoriale ortogonale al spazio generato dalle colonne di X ); quindi C Y = C Z u $n-p$$C \in \R^{(n-p)\times n}$$CX = 0$$CC' = I_{n-p}$$C'$$X$ con ϵ ∼ N ( 0 , σ 2 I n - p ) , e la probabilità per τ , σ 2 dato C Y è la probabilità limitata. $$CY = CZ u + \epsilon$$ $\epsilon \sim \mathcal N(0, \sigma^2 I_{n-p})$$\tau, \sigma^2$$CY$

I test del rapporto di verosimiglianza sono test di ipotesi statistici basati su un rapporto di due verosimiglianze. Le loro proprietà sono collegate alla stima della massima verosimiglianza (MLE). (vedi ad es. stima della massima verosimiglianza (MLE) in termini di profani ).

Nel tuo caso (vedi domanda) vuoi '' scegliere '' tra due modelli var-covar nidificati, diciamo che vuoi scegliere tra un modello in cui il var-covar è un modello in cui var-covar è Σ s dove il secondo (modello semplice) è un caso speciale del primo (quello generale). $\Sigma_g$$\Sigma_s$

Il test è basato sul rapporto di verosimiglianza . Se Σ s e$LR=-2 (log(\mathcal{L}_s(\hat{\Sigma}_s)) - log(\mathcal{L}_g(\hat{\Sigma}_g) )$$\hat{\Sigma}_s$sono la stimatori della massima verosimiglianza.$\hat{\Sigma}_g$

La statistica $LR$ è, asintoticamente (!) . $\chi^2$

Gli stimatori della massima verosimiglianza sono noti per essere coerenti, tuttavia, in molti casi sono distorti. Questo è il caso per gli stimatori MLE per la e Σ g , può essere mostra che essi sono polarizzati. Questo perché vengono calcolati utilizzando una media derivata dai dati, in modo tale che lo spread attorno a questa "media stimata" sia inferiore allo spread attorno alla media reale (vedere ad es. Spiegazione intuitiva per la divisione per n - 1 nel calcolo della deviazione standard ? )$\hat{\Sigma}_s$$\hat{\Sigma}_g$$n-1$

La statistica sopra è χ 2 in grandi campioni, questo è solo a causa del fatto che, in grandi campioni, Σ s e Σ g convergono ai valori effettivi (MLE sono coerenti). (Nota: nel link sopra, per campioni molto grandi, dividendo per n o per (n-1), non farà alcuna differenza)$LR$$\chi^2$$\hat{\Sigma}_s$$\hat{\Sigma}_g$

Per i campioni più piccoli, la MLE stima di Σ s e Σ g sarà parziale e quindi la distribuzione di L R si discostano da χ 2 , mentre le stime REML daranno stime non distorte per Σ s e Σ g , quindi se si utilizza , per la selezione del modello var-covar, la REML stima quindi la L R$\hat{\Sigma}_s$$\hat{\Sigma}_g$$LR$$\chi^2$$\Sigma_s$$\Sigma_g$$LR$ per campioni più piccoli sarà meglio approssimata di .$\chi^2$

Si noti che REML dovrebbe essere usato solo per scegliere tra strutture var-covar nidificate di modelli con la stessa media, per i modelli con mezzi diversi, il REML non è appropriato, per i modelli con mezzi diversi si dovrebbe usare ML.

Ho una risposta che ha più a che fare con il buon senso che con le statistiche. Se dai un'occhiata a PROC MIXED in SAS, la stima può essere eseguita con sei metodi:

http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_mixed_sect008.htm

ma REML è l'impostazione predefinita. Perché? Apparentemente, l'esperienza pratica ha dimostrato di avere le migliori prestazioni (ad esempio, la minima possibilità di problemi di convergenza). Pertanto, se il tuo obiettivo è raggiungibile con REML, ha senso utilizzare REML invece degli altri cinque metodi.