Supponiamo che io abbia $N$ partecipanti, ognuno dei quali dà una risposta $Y$ 20 volte, 10 in una condizione e 10 in un'altra. Adatto un modello lineare di effetti misti confrontando $Y$ in ogni condizione. Ecco un esempio riproducibile che simula questa situazione usando il lme4pacchetto in R:

library(lme4)
fml <- "~ condition + (condition | participant_id)"
d <- expand.grid(participant_id=1:40, trial_num=1:10)
d <- rbind(cbind(d, condition="control"), cbind(d, condition="experimental"))

set.seed(23432)
d <- cbind(d, simulate(formula(fml), 
                       newparams=list(beta=c(0, .5), 
                                      theta=c(.5, 0, 0), 
                                      sigma=1), 
                       family=gaussian, 
                       newdata=d))

m <- lmer(paste("sim_1 ", fml), data=d)
summary(m)

Il modello mproduce due effetti fissi (una intercetta e una pendenza per condizione) e tre effetti casuali (una intercettazione casuale per partecipante, una pendenza casuale per partecipante per condizione e una correlazione intercetta-pendenza).

Vorrei confrontare statisticamente la dimensione della varianza dell'intercettazione casuale per partecipante tra i gruppi definiti da condition(ovvero, calcolare la componente di varianza evidenziata in rosso separatamente all'interno delle condizioni di controllo e sperimentali, quindi verificare se la differenza nelle dimensioni dei componenti è diverso da zero). Come lo farei (preferibilmente in R)?

---

BONUS

Diciamo che il modello è leggermente più complicato: i partecipanti sperimentano 10 stimoli 20 volte ciascuno, 10 in una condizione e 10 in un'altra. Pertanto, ci sono due serie di effetti casuali incrociati: effetti casuali per i partecipanti e effetti casuali per lo stimolo. Ecco un esempio riproducibile:

library(lme4)
fml <- "~ condition + (condition | participant_id) + (condition | stimulus_id)"
d <- expand.grid(participant_id=1:40, stimulus_id=1:10, trial_num=1:10)
d <- rbind(cbind(d, condition="control"), cbind(d, condition="experimental"))

set.seed(23432)
d <- cbind(d, simulate(formula(fml), 
                       newparams=list(beta=c(0, .5), 
                                      theta=c(.5, 0, 0, .5, 0, 0), 
                                      sigma=1), 
                       family=gaussian, 
                       newdata=d))

m <- lmer(paste("sim_1 ", fml), data=d)
summary(m)

Vorrei confrontare statisticamente la grandezza della varianza casuale di intercettazione per partecipante tra i gruppi definiti da condition. Come lo farei e il processo è diverso da quello nella situazione sopra descritta?

---

MODIFICARE

Per essere un po 'più specifico su ciò che sto cercando, voglio sapere:

1. È la domanda ", sono le risposte medie condizionali all'interno di ciascuna condizione (ovvero, valori di intercettazione casuali in ciascuna condizione) sostanzialmente diverse l'una dall'altra, al di là di ciò che ci aspetteremmo a causa dell'errore di campionamento" una domanda ben definita (cioè, è questa domanda anche teoricamente rispondente)? In caso contrario, perché no?
2. Se la risposta alla domanda (1) è sì, come risponderei? Preferirei Run'implementazione, ma non sono legato al lme4pacchetto - ad esempio, sembra che il OpenMxpacchetto abbia la capacità di ospitare analisi multi-gruppo e multi-livello ( https: //openmx.ssri.psu. edu / openmx-features ), e questo sembra il tipo di domanda a cui dovrebbe essere possibile rispondere in un framework SEM.

C'è più di un modo per testare questa ipotesi. Ad esempio, la procedura descritta da @amoeba dovrebbe funzionare. Ma mi sembra che il modo più semplice e conveniente per testarlo sia usare un buon vecchio test del rapporto di verosimiglianza confrontando due modelli nidificati. L'unica parte potenzialmente complicata di questo approccio è sapere come impostare la coppia di modelli in modo che l'eliminazione di un singolo parametro verifichi chiaramente l'ipotesi desiderata di varianze disuguali. Di seguito spiego come farlo.

Risposta breve

Passa alla codifica del contrasto (somma a zero) per la tua variabile indipendente e quindi fai un test del rapporto di verosimiglianza confrontando il tuo modello completo con un modello che forza la correlazione tra pendenze casuali e intercettazioni casuali su 0:

# switch to numeric (not factor) contrast codes
d$contrast <- 2*(d$condition == 'experimental') - 1

# reduced model without correlation parameter
mod1 <- lmer(sim_1 ~ contrast + (contrast || participant_id), data=d)

# full model with correlation parameter
mod2 <- lmer(sim_1 ~ contrast + (contrast | participant_id), data=d)

# likelihood ratio test
anova(mod1, mod2)

Spiegazione / intuizione visiva

Affinché questa risposta abbia un senso, è necessario avere una comprensione intuitiva di ciò che i diversi valori del parametro di correlazione implicano per i dati osservati. Considera le linee di regressione specifiche del soggetto (che variano in modo casuale). Fondamentalmente, il parametro di correlazione controlla se le linee di regressione del partecipante "fan out to right" (correlazione positiva) o "fan out to left" (correlazione negativa) rispetto al punto $X=0$ , dove X è il tuo codice indipendente dal contrasto variabile. Entrambe queste implicano una disparità di disparità nelle risposte medie condizionali dei partecipanti. Questo è illustrato di seguito:

In questo diagramma, ignoriamo le molteplici osservazioni che abbiamo per ogni soggetto in ogni condizione e invece tracciamo semplicemente i due mezzi casuali di ciascun soggetto, con una linea che li collega, che rappresenta la pendenza casuale di quel soggetto. (Si tratta di dati composti da 10 soggetti ipotetici, non dai dati pubblicati nel PO.)

Nella colonna a sinistra, dove esiste una forte correlazione negativa tra intercetta e inclinazione, le linee di regressione si estendono a sinistra rispetto al punto $X=0$ . Come puoi vedere chiaramente nella figura, ciò porta a una maggiore varianza dei mezzi casuali dei soggetti nella condizione $X=-1$ rispetto alla condizione $X=1$ .

La colonna a destra mostra il contrario, l'immagine speculare di questo modello. In questo caso c'è una maggiore varianza nei mezzi casuali dei soggetti nella condizione $X=1$ rispetto alla condizione $X=-1$ .

La colonna nel mezzo mostra cosa succede quando le pendenze casuali e le intercettazioni casuali non sono correlate. Ciò significa che le linee di regressione si estendono verso sinistra esattamente quanto si estendono verso destra, rispetto al punto $X=0$ . Ciò implica che le varianze dei mezzi dei soggetti nelle due condizioni sono uguali.

È cruciale qui che abbiamo usato uno schema di codifica del contrasto somma-zero, non codici fittizi (cioè, non impostando i gruppi su $X=0$ vs. $X=1$ ). È solo nell'ambito dello schema di codifica del contrasto che abbiamo questa relazione in cui le varianze sono uguali se e solo se la correlazione intercetta-inclinazione è 0. La figura seguente cerca di costruire quell'intuizione:

Ciò che questa figura mostra è lo stesso set di dati esatto in entrambe le colonne, ma con la variabile indipendente codificata in due modi diversi. Nella colonna a sinistra usiamo i codici di contrasto - questa è esattamente la situazione della prima figura. Nella colonna a destra usiamo i codici fittizi. Ciò altera il significato delle intercettazioni - ora le intercettazioni rappresentano le risposte previste dei soggetti nel gruppo di controllo. Il pannello in basso mostra le conseguenze di questo cambiamento, vale a dire che la correlazione tra pendenza e intercetta non è più da nessuna parte vicino a 0, anche se i dati sono gli stessi in un senso profondo e le varianze condizionali sono uguali in entrambi i casi. Se questo non sembra avere molto senso, studiare questa mia precedente risposta in cui parlo di più su questo fenomeno può essere d'aiuto.

Prova

Let $y_{ijk}$ sia il $j$ esima risposta della $i$ esima soggetto in condizioni $k$ . (Abbiamo solo due condizioni qui, quindi $k$ è solo 1 o 2.) Quindi il modello misto può essere scritto

$$y_{ijk} = \alpha_i + \beta_ix_k + e_{ijk},$$ dove$\alpha_i$ sono i soggetti ' intercettazioni casuali e varianza$\sigma^2_\alpha$ ,$\beta_i$sono la pendenza casuale dei soggetti e hanno varianza $\sigma^2_\beta$ , $e_{ijk}$ è il termine di errore a livello di osservazione e $\text{cov}(\alpha_i, \beta_i)=\sigma_{\alpha\beta}$ .

Desideriamo dimostrare che

$$\text{var}(\alpha_i + \beta_ix_1) = \text{var}(\alpha_i + \beta_ix_2) \Leftrightarrow \sigma_{\alpha\beta}=0.$$

A partire dal lato sinistro di questa implicazione, abbiamo

$$\begin{aligned} \text{var}(\alpha_i + \beta_ix_1) &= \text{var}(\alpha_i + \beta_ix_2) \\ \sigma^2_\alpha + x^2_1\sigma^2_\beta + 2x_1\sigma_{\alpha\beta} &= \sigma^2_\alpha + x^2_2\sigma^2_\beta + 2x_2\sigma_{\alpha\beta} \\ \sigma^2_\beta(x_1^2 - x_2^2) + 2\sigma_{\alpha\beta}(x_1 - x_2) &= 0. \end{aligned}$$

I codici di contrasto somma-zero implicano che $x_1 + x_2 = 0$ e $x_1^2 = x_2^2 = x^2$ . Quindi possiamo ridurre ulteriormente l'ultima riga di cui sopra a

$$\begin{aligned} \sigma^2_\beta(x^2 - x^2) + 2\sigma_{\alpha\beta}(x_1 + x_1) &= 0 \\ \sigma_{\alpha\beta} &= 0, \end{aligned}$$ che è quello che volevamo dimostrare. (Per stabilire l'altra direzione dell'implicazione, possiamo semplicemente seguire questi stessi passaggi al contrario.)

Per ribadire, ciò dimostra che se la variabile indipendente è codificata in contrasto (somma a zero) , allora le varianze dei mezzi casuali dei soggetti in ciascuna condizione sono uguali se e solo se la correlazione tra pendenze casuali e intercettazioni casuali è 0. La chiave il punto di partenza di tutto ciò è che testare l'ipotesi nulla che $\sigma_{\alpha\beta} = 0$ metterà alla prova l'ipotesi nulla di varianze uguali descritte dall'OP.

Questo NON funziona se la variabile indipendente è, diciamo, codificata fittizia. In particolare, se inseriamo i valori $x_1=0$ e $x_2=1$ nelle equazioni sopra, troviamo che

$$\text{var}(\alpha_i) = \text{var}(\alpha_i + \beta_i) \Leftrightarrow \sigma_{\alpha\beta} = -\frac{\sigma^2_\beta}{2}.$$

È possibile verificare la significatività, dei parametri del modello, con l'aiuto di intervalli di confidenza stimati per i quali il pacchetto lme4 ha la confint.merModfunzione.

bootstrap (vedi ad esempio Intervallo di confidenza da bootstrap )

> confint(m, method="boot", nsim=500, oldNames= FALSE)
Computing bootstrap confidence intervals ...
                                                           2.5 %     97.5 %
sd_(Intercept)|participant_id                         0.32764600 0.64763277
cor_conditionexperimental.(Intercept)|participant_id -1.00000000 1.00000000
sd_conditionexperimental|participant_id               0.02249989 0.46871800
sigma                                                 0.97933979 1.08314696
(Intercept)                                          -0.29669088 0.06169473
conditionexperimental                                 0.26539992 0.60940435 

profilo di verosimiglianza (vedi ad esempio Qual è la relazione tra verosimiglianza del profilo e intervalli di confidenza? )

> confint(m, method="profile", oldNames= FALSE)
Computing profile confidence intervals ...
                                                          2.5 %     97.5 %
sd_(Intercept)|participant_id                         0.3490878 0.66714551
cor_conditionexperimental.(Intercept)|participant_id -1.0000000 1.00000000
sd_conditionexperimental|participant_id               0.0000000 0.49076950
sigma                                                 0.9759407 1.08217870
(Intercept)                                          -0.2999380 0.07194055
conditionexperimental                                 0.2707319 0.60727448

---

• C'è anche un metodo, 'Wald'ma questo è applicato solo agli effetti fissi.

• Esistono anche alcuni tipi di espressioni anova (rapporto di verosimiglianza) nel pacchetto lmerTest denominato ranova. Ma non riesco a dare un senso a questo. La distribuzione delle differenze in LogLikelihood, quando l'ipotesi nulla (varianza zero per l'effetto casuale) è vera non è distribuita chi- quadro (probabilmente quando il numero di partecipanti e prove è alto, il test del rapporto di verosimiglianza potrebbe avere senso).

---

Varianza in gruppi specifici

Per ottenere risultati per la varianza in gruppi specifici, è possibile modificare la parametrizzazione

# different model with alternative parameterization (and also correlation taken out) 
fml1 <- "~ condition + (0 + control + experimental || participant_id) "

Dove abbiamo aggiunto due colonne al frame di dati ^{(questo è necessario solo se si desidera valutare il "controllo" non correlato e "sperimentale" la funzione (0 + condition || participant_id)non porterebbe alla valutazione dei diversi fattori in condizioni come non correlati)}

#adding extra columns for control and experimental
d <- cbind(d,as.numeric(d$condition=='control'))
d <- cbind(d,1-as.numeric(d$condition=='control'))
names(d)[c(4,5)] <- c("control","experimental")

Ora lmerdarà varianza per i diversi gruppi

> m <- lmer(paste("sim_1 ", fml1), data=d)
> m
Linear mixed model fit by REML ['lmerModLmerTest']
Formula: paste("sim_1 ", fml1)
   Data: d
REML criterion at convergence: 2408.186
Random effects:
 Groups           Name         Std.Dev.
 participant_id   control      0.4963  
 participant_id.1 experimental 0.4554  
 Residual                      1.0268  
Number of obs: 800, groups:  participant_id, 40
Fixed Effects:
          (Intercept)  conditionexperimental  
               -0.114                  0.439 

E puoi applicare i metodi del profilo a questi. Ad esempio, ora confint fornisce intervalli di confidenza per il controllo e la varianza sperimentale.

> confint(m, method="profile", oldNames= FALSE)
Computing profile confidence intervals ...
                                    2.5 %     97.5 %
sd_control|participant_id       0.3490873 0.66714568
sd_experimental|participant_id  0.3106425 0.61975534
sigma                           0.9759407 1.08217872
(Intercept)                    -0.2999382 0.07194076
conditionexperimental           0.1865125 0.69149396

---

Semplicità

Potresti usare la funzione di verosimiglianza per ottenere confronti più avanzati, ma ci sono molti modi per fare approssimazioni lungo la strada (ad esempio potresti fare un test anova / lrt conservativo, ma è quello che vuoi?).

A questo punto mi chiedo quale sia effettivamente il punto di questo confronto (non così comune) tra le varianze. Mi chiedo se inizi a diventare troppo sofisticato. Perché la differenza tra varianze invece del rapporto tra varianze (che si riferisce alla classica distribuzione F)? Perché non segnalare solo intervalli di confidenza? Dobbiamo fare un passo indietro e chiarire i dati e la storia che dovrebbe raccontare, prima di intraprendere percorsi avanzati che possono essere superflui e perdere il contatto con la questione statistica e le considerazioni statistiche che sono in realtà l'argomento principale.

Mi chiedo se si dovrebbe fare molto di più che semplicemente dichiarare gli intervalli di confidenza (che in realtà potrebbero dire molto di più di un test di ipotesi. Un test di ipotesi dà un sì nessuna risposta ma nessuna informazione sulla diffusione effettiva della popolazione. Dati sufficienti che puoi fare una leggera differenza da segnalare come differenza significativa). Per approfondire la questione (per qualsiasi scopo), credo, a mio avviso, una domanda di ricerca più specifica (definita in modo restrittivo) al fine di guidare il macchinario matematico a effettuare le opportune semplificazioni (anche quando un calcolo esatto potrebbe essere fattibile o quando potrebbe essere approssimato da simulazioni / bootstrap, anche se in alcune impostazioni richiede comunque un'interpretazione appropriata). Confronta con l'esatto test di Fisher per risolvere esattamente una (particolare) domanda (sulle tabelle di contingenza),

Semplice esempio

Per fornire un esempio della semplicità possibile, mostro di seguito un confronto (mediante simulazioni) con una semplice valutazione della differenza tra le due varianze di gruppo sulla base di un test F fatto confrontando le varianze nelle risposte medie individuali e confrontando il modello misto derivava varianze.

$j$

$$\hat{Y}_{i,j} \sim N(\mu_j, \sigma_j^2 + \frac{\sigma_{\epsilon}^2}{10})$$

$\sigma_\epsilon$$\sigma_{j}$$j = \lbrace 1,2 \rbrace$ ) è uguale, allora il rapporto per la varianza per 40 significa nella condizione 1 e la varianza per i 40 mezzi nella condizione 2 è distribuita secondo la distribuzione F con gradi di libertà 39 e 39 per numeratore e denominatore.

Puoi vederlo nella simulazione del grafico sotto dove, a parte il punteggio F basato sul campione, un punteggio F viene calcolato in base alle variazioni previste (o somme di errore al quadrato) dal modello.

^{$\sigma_{j=1} = \sigma_{j=2} = 0.5$$\sigma_\epsilon=1$}

Puoi vedere che c'è qualche differenza. Questa differenza può essere dovuta al fatto che il modello lineare a effetti misti sta ottenendo le somme dell'errore al quadrato (per l'effetto casuale) in modo diverso. E questi termini di errore al quadrato non sono (più) ben espressi come una semplice distribuzione Chi al quadrato, ma sono ancora strettamente correlati e possono essere approssimati.

$\sigma_{j=1} \neq \sigma_{j=2}$$\hat{Y}_{i,j}$$\sigma_j$$\sigma_\epsilon$

^{$\sigma_{j=1} = 0.5$$\sigma_{j=2} = 0.25$$\sigma_\epsilon=1$}

Quindi il modello basato sui mezzi è molto esatto. Ma è meno potente. Ciò dimostra che la strategia corretta dipende da ciò che si desidera / è necessario.

^{Nell'esempio sopra quando si impostano i confini della coda destra su 2.1 e 3.1 si ottiene circa l'1% della popolazione in caso di varianza uguale (rispettivamente 103 e 104 dei 10.000 casi) ma in caso di varianza diseguale questi confini differiscono molto (dando 5334 e 6716 dei casi)}

codice:

set.seed(23432)

# different model with alternative parameterization (and also correlation taken out)
fml1 <- "~ condition + (0 + control + experimental || participant_id) "
fml <- "~ condition + (condition | participant_id)"

n <- 10000

theta_m <- matrix(rep(0,n*2),n)
theta_f <- matrix(rep(0,n*2),n)

# initial data frame later changed into d by adding a sixth sim_1 column
ds <- expand.grid(participant_id=1:40, trial_num=1:10)
ds <- rbind(cbind(ds, condition="control"), cbind(ds, condition="experimental"))
  #adding extra columns for control and experimental
  ds <- cbind(ds,as.numeric(ds$condition=='control'))
  ds <- cbind(ds,1-as.numeric(ds$condition=='control'))
  names(ds)[c(4,5)] <- c("control","experimental")

# defining variances for the population of individual means
stdevs <- c(0.5,0.5) # c(control,experimental)

pb <- txtProgressBar(title = "progress bar", min = 0,
                    max = n, style=3)
for (i in 1:n) {

  indv_means <- c(rep(0,40)+rnorm(40,0,stdevs[1]),rep(0.5,40)+rnorm(40,0,stdevs[2]))
  fill <- indv_means[d[,1]+d[,5]*40]+rnorm(80*10,0,sqrt(1)) #using a different way to make the data because the simulate is not creating independent data in the two groups 
  #fill <- suppressMessages(simulate(formula(fml), 
  #                     newparams=list(beta=c(0, .5), 
  #                                    theta=c(.5, 0, 0), 
  #                                    sigma=1), 
  #                     family=gaussian, 
  #                     newdata=ds))
  d <- cbind(ds, fill)
  names(d)[6] <- c("sim_1")


  m <- lmer(paste("sim_1 ", fml1), data=d)
  m
  theta_m[i,] <- m@theta^2

  imeans <- aggregate(d[, 6], list(d[,c(1)],d[,c(3)]), mean)
  theta_f[i,1] <- var(imeans[c(1:40),3])
  theta_f[i,2] <- var(imeans[c(41:80),3])

  setTxtProgressBar(pb, i)
}
close(pb)

p1 <- hist(theta_f[,1]/theta_f[,2], breaks = seq(0,6,0.06))       
fr <- theta_m[,1]/theta_m[,2]
fr <- fr[which(fr<30)]
p2 <- hist(fr, breaks = seq(0,30,0.06))



plot(-100,-100, xlim=c(0,6), ylim=c(0,800), 
     xlab="F-score", ylab = "counts [n out of 10 000]")
plot( p1, col=rgb(0,0,1,1/4), xlim=c(0,6), ylim=c(0,800), add=T)  # means based F-score
plot( p2, col=rgb(1,0,0,1/4), xlim=c(0,6), ylim=c(0,800), add=T)  # model based F-score
fr <- seq(0, 4, 0.01)
lines(fr,df(fr,39,39)*n*0.06,col=1)
legend(2, 800, c("means based F-score","mixed regression based F-score"), 
       fill=c(rgb(0,0,1,1/4),rgb(1,0,0,1/4)),box.col =NA, bg = NA)
legend(2, 760, c("F(39,39) distribution"), 
       lty=c(1),box.col = NA,bg = NA)
title(expression(paste(sigma[1]==0.5, " , ", sigma[2]==0.5, " and ", sigma[epsilon]==1)))

Un modo relativamente semplice potrebbe essere quello di utilizzare i test del rapporto di verosimiglianza tramite anovacome descritto nelle lme4FAQ .

Iniziamo con un modello completo in cui le varianze non sono vincolate (ovvero, sono consentite due varianze diverse) e quindi adattiamo un modello vincolato in cui si presume che le due varianze siano uguali. Li confrontiamo semplicemente con anova()(nota che ho impostato REML = FALSEanche se REML = TRUEcon anova(..., refit = FALSE)è completamente fattibile ).

m_full <- lmer(sim_1 ~ condition + (condition | participant_id), data=d, REML = FALSE)
summary(m_full)$varcor
 # Groups         Name                  Std.Dev. Corr  
 # participant_id (Intercept)           0.48741        
 #                conditionexperimental 0.26468  -0.419
 # Residual                             1.02677     

m_red <- lmer(sim_1 ~ condition + (1 | participant_id), data=d, REML = FALSE)
summary(m_red)$varcor
 # Groups         Name        Std.Dev.
 # participant_id (Intercept) 0.44734 
 # Residual                   1.03571 

anova(m_full, m_red)
# Data: d
# Models:
# m_red: sim_1 ~ condition + (1 | participant_id)
# m_full: sim_1 ~ condition + (condition | participant_id)
#        Df    AIC    BIC  logLik deviance  Chisq Chi Df Pr(>Chisq)
# m_red   4 2396.6 2415.3 -1194.3   2388.6                         
# m_full  6 2398.7 2426.8 -1193.3   2386.7 1.9037      2      0.386

Tuttavia, questo test è probabilmente conservativo . Ad esempio, la FAQ dice:

Tenere presente che i test di ipotesi null basati su LRT sono conservativi quando il valore null (come σ2 = 0) si trova al limite dello spazio possibile; nel caso più semplice (varianza a singolo effetto casuale), il valore p è circa il doppio di quello che dovrebbe essere (Pinheiro e Bates 2000).

Esistono diverse alternative:

1. Creare una distribuzione di prova appropriata, che di solito consiste in una miscela di $\chi^2$distribuzioni. Vedi ad esempio,
   Self, SG, & Liang, K.-Y. (1987). Proprietà asintotiche degli stimatori della massima verosimiglianza e test del rapporto di verosimiglianza in condizioni non standard. Journal of American Statistical Association, 82 (398), 605. https://doi.org/10.2307/2289471 Tuttavia, questo è abbastanza complicato.

2. Simula la corretta distribuzione usando RLRsim(come descritto anche nelle FAQ).

Dimostrerò la seconda opzione di seguito:

library("RLRsim")
## reparametrize model so we can get one parameter that we want to be zero:
afex::set_sum_contrasts() ## warning, changes contrasts globally
d <- cbind(d, difference = model.matrix(~condition, d)[,"condition1"])

m_full2 <- lmer(sim_1 ~ condition + (difference | participant_id), data=d, REML = FALSE)
all.equal(deviance(m_full), deviance(m_full2))  ## both full models are identical

## however, we need the full model without correlation!
m_full2b <- lmer(sim_1 ~ condition + (1| participant_id) + 
                   (0 + difference | participant_id), data=d, REML = FALSE)
summary(m_full2b)$varcor
 # Groups           Name        Std.Dev.
 # participant_id   (Intercept) 0.44837 
 # participant_id.1 difference  0.13234 
 # Residual                     1.02677 

## model that only has random effect to be tested
m_red <- update(m_full2b,  . ~ . - (1 | participant_id), data=d, REML = FALSE)
summary(m_red)$varcor
 # Groups         Name       Std.Dev.
 # participant_id difference 0.083262
 # Residual                  1.125116

## Null model 
m_null <- update(m_full2b,  . ~ . - (0 + difference | participant_id), data=d, REML = FALSE)
summary(m_null)$varcor
 # Groups         Name        Std.Dev.
 # participant_id (Intercept) 0.44734 
 # Residual                   1.03571 

exactRLRT(m_red, m_full2b, m_null)
# Using restricted likelihood evaluated at ML estimators.
# Refit with method="REML" for exact results.
# 
#   simulated finite sample distribution of RLRT.
#   
#   (p-value based on 10000 simulated values)
# 
# data:  
# RLRT = 1.9698, p-value = 0.0719

Come possiamo vedere, l'output suggerisce che con REML = TRUEnoi avremmo ottenuto risultati esatti. Ma questo è lasciato come esercizio al lettore.

Per quanto riguarda il bonus, non sono sicuro che RLRsimconsenta il test simultaneo di più componenti, ma in tal caso, ciò può essere fatto allo stesso modo.

---

Risposta al commento:

Quindi è vero, quindi, che in generale la pendenza casuale $\theta_X$ consente l'intercettazione casuale $\theta_0$ variare tra i livelli di $X$?

Non sono sicuro che questa domanda possa ricevere una risposta ragionevole.

• Un'intercettazione casuale consente una differenza idiosincratica nel livello complessivo per ciascun livello del fattore di raggruppamento. Ad esempio, se la variabile dipendente è il tempo di risposta, alcuni partecipanti sono più veloci e altri più lenti.
• Una pendenza casuale consente a ciascun livello del fattore di raggruppamento un effetto idiosincratico del fattore per il quale sono stimate le pendenze casuali. Ad esempio, se il fattore è congruenza, alcuni partecipanti possono avere un effetto di congruenza maggiore rispetto ad altri.

Quindi le pendenze casuali influenzano l'intercettazione casuale? In un certo senso ciò potrebbe avere senso, poiché consentono a ciascun livello del fattore di raggruppamento un effetto completamente idiosincratico per ogni condizione. Alla fine, stimiamo due parametri idiosincratici per due condizioni. Tuttavia, penso che la distinzione tra il livello complessivo catturato dall'intercettazione e l'effetto specifico della condizione acquisito dalla pendenza casuale sia importante e quindi la pendenza casuale non può davvero influenzare l'intercettazione casuale. Tuttavia, consente comunque a ciascun livello del fattore di raggruppamento un idiosincratico separatamente per ogni livello della condizione.

Tuttavia, il mio test fa ancora quello che vuole la domanda originale. Verifica se la differenza nelle varianze tra le due condizioni è zero. Se è zero, le varianze in entrambe le condizioni sono uguali. In altre parole, solo se non è necessaria una pendenza casuale, la varianza in entrambe le condizioni è identica. Spero che abbia un senso.

Il tuo modello

m = lmer(sim_1 ~ condition + (condition | participant_id), data=d)

consente già che la varianza tra soggetti nella condizione di controllo differisca dalla varianza tra soggetti nella condizione sperimentale. Ciò può essere reso più esplicito da una parametrizzazione equivalente:

m = lmer(sim_1 ~ 0 + condition + (0 + condition | participant_id), data=d)

La matrice di covarianza casuale ora ha un'interpretazione più semplice:

Random effects:
 Groups         Name                  Variance Std.Dev. Corr
 participant_id conditioncontrol      0.2464   0.4963       
                conditionexperimental 0.2074   0.4554   0.83

Qui le due varianze sono precisamente le due varianze che ti interessano: la varianza [tra soggetti] delle risposte medie condizionali nella condizione di controllo e la stessa nella condizione sperimentale. Nel set di dati simulato, sono 0,25 e 0,21. La differenza è data da

delta = as.data.frame(VarCorr(m))[1,4] - as.data.frame(VarCorr(m))[2,4]

ed è uguale a 0,039. Vuoi verificare se è significativamente diverso da zero.

EDIT: mi sono reso conto che il test di permutazione che descrivo di seguito non è corretto; non funzionerà come previsto se i mezzi in condizioni controllo / sperimentali non sono gli stessi (perché quindi le osservazioni non sono scambiabili con il valore null). Potrebbe essere una buona idea avviare bootstrap (o soggetti / oggetti nel caso Bonus) e ottenere l'intervallo di confidenza perdelta .

Proverò a riparare il codice qui sotto per farlo.

---

Suggerimento basato sulla permutazione originale (errato)

Trovo spesso che uno può salvarsi un sacco di problemi facendo un test di permutazione. In effetti, in questo caso è molto semplice da configurare. Permettiamo condizioni di controllo / sperimentali per ogni soggetto separatamente; allora qualsiasi differenza nelle variazioni dovrebbe essere eliminata. Ripetendolo più volte si otterrà la distribuzione nulla per le differenze.

(Non programma in R; tutti non esitate a riscrivere quanto segue in uno stile R migliore.)

set.seed(42)
nrep = 100
v = matrix(nrow=nrep, ncol=1)
for (i in 1:nrep)
{
   dp = d
   for (s in unique(d$participant_id)){             
     if (rbinom(1,1,.5)==1){
       dp[p$participant_id==s & d$condition=='control',]$condition = 'experimental'
       dp[p$participant_id==s & d$condition=='experimental',]$condition = 'control'
     }
   }
  m <- lmer(sim_1 ~ 0 + condition + (0 + condition | participant_id), data=dp)
  v[i,] = as.data.frame(VarCorr(m))[1,4] - as.data.frame(VarCorr(m))[2,4]
}
pvalue = sum(abs(v) >= abs(delta)) / nrep

L'esecuzione di questo produce il valore p $p=0.7$. Si può aumentare nrepa circa 1000.

Esattamente la stessa logica può essere applicata nel tuo caso Bonus.

Guardando questo problema da una prospettiva leggermente diversa e partendo dalla forma "generale" del modello misto lineare, abbiamo

$$y_{ijk} = \mu + \alpha_j + d_{ij} + e_{ijk}, \quad d_{i} \sim N(0, \Sigma), \quad e_{ijk} \sim N(0, \sigma^2)$$ dove $\alpha_j$ è l'effetto fisso di $j$'condizione e $d_i = (d_{i1}, \ldots, d_{iJ})^\top$ è un vettore casuale (alcuni lo chiamano effetto casuale con valori vettoriali, penso) per il $i$il partecipante al $j$'condizione.
Nel tuo esempio abbiamo due condizioni$y_{i1k}$ e $y_{i2k}$ che indicherò come $A$ e $B$in ciò che segue. Quindi la matrice di covarianza del vettore casuale bidimensionale$d_{i}$ è di forma generale

$$\Sigma = \begin{bmatrix}\sigma^2_A & \sigma_{AB}\\ \sigma_{AB} & \sigma^2_{B} \end{bmatrix}$$

con non negativo $\sigma^2_A$ e $\sigma^2_{B}$.

Vediamo prima come la versione parametrizzata di $\Sigma$ guarda quando usiamo i contrasti di somma.

La varianza dell'intercetta, che corrisponde alla media grande, è

$$\sigma^2_{1} := \text{Var(grand mean)} = \text{Var}(\frac{1}{2} \cdot (A+B)) = \frac{1}{4} \cdot (\text{Var}(A) + \text{Var}(B) + 2 \cdot \text{Cov}(A,B)).$$

La varianza del contrasto è

$$\sigma^2_{2} := \text{Var(contrast)} = \text{Var}(\frac{1}{2} \cdot (A-B)) = \frac{1}{4} \cdot (\text{Var}(A) + \text{Var}(B) - 2 \cdot \text{Cov}(A,B)).$$

And the covariance between the intercept and the contrast is

$$\sigma_{12} := \text{Cov}(\text{grand mean, contrast}) = \text{Cov}(\frac{1}{2} \cdot (A+B), \frac{1}{2} \cdot (A-B)) \\ = \frac{1}{4} \cdot (\text{Var}(A) - \text{Var}(B)).$$

Thus, the re-parameterized $\Sigma$ is

$$\Sigma = \begin{bmatrix}\sigma^2_1 + \sigma^2_2 + 2\sigma_{12} & \sigma^2_1 - \sigma^2_2\\ \sigma^2_1 - \sigma^2_2 & \sigma^2_1 + \sigma^2_2 - 2\sigma_{12} \end{bmatrix} = \begin{bmatrix}\sigma^2_A & \sigma_{AB}\\ \sigma_{AB} & \sigma^2_{B} \end{bmatrix}.$$

$\Sigma$ can be decomposed into

$$\Sigma = \begin{bmatrix}\sigma^2_1 & \sigma^2_1\\ \sigma^2_1 & \sigma^2_1\end{bmatrix} + \begin{bmatrix}\sigma^2_2 & -\sigma^2_2\\ -\sigma^2_2 & \sigma^2_2\end{bmatrix} + 2\begin{bmatrix}\sigma_{12} & 0\\ 0 & -\sigma_{12}\end{bmatrix}.$$

Setting the covariance parameter $\sigma_{12}$ to zero we get

$$\Sigma = \begin{bmatrix}\sigma^2_1 & \sigma^2_1\\ \sigma^2_1 & \sigma^2_1\end{bmatrix} + \begin{bmatrix}\sigma^2_2 & -\sigma^2_2\\ -\sigma^2_2 & \sigma^2_2\end{bmatrix} = \begin{bmatrix}\sigma^2_1 + \sigma^2_2 & \sigma^2_1 - \sigma^2_2 \\ \sigma^2_1 - \sigma^2_2 & \sigma^2_1 + \sigma^2_2\end{bmatrix}$$

which, as @Jake Westfall derived slightly differently, tests the hypothesis of equal variances when we compare a model without this covariance parameter to a model where the covariance parameter is still included/not set to zero.

Notably, introducing another crossed random grouping factor (such as stimuli) does not change the model comparison that has to be done, i.e., anova(mod1, mod2) (optionally with the argument refit = FALSE when you use REML estimation) where mod1 and mod2 are defined as @Jake Westfall did.

Taking out $\sigma_{12}$ and the variance component for the contrast $\sigma^2_2$ (what @Henrik suggests) results in

$$\Sigma = \begin{bmatrix}\sigma^2_1 & \sigma^2_1\\ \sigma^2_1 & \sigma^2_1\end{bmatrix}$$

which tests the hypothesis that the variances in the two conditions are equal and that they are equal to the (positive) covariance between the two conditions.

---

When we have two conditions, a model that fits a covariance matrix with two parameters in a (positive) compound symmetric structure can also be written as

# code snippet from Jake Westfall
d$contrast <- 2*(d$condition == 'experimental') - 1

# new model
mod3 <- lmer(sim_1 ~ contrast + (1 | participant_id) + (1 | contrast:participant_id), 
             data = d, REML = FALSE) 

or (using the categorical variable/factor condition)

mod4 <- lmer(sim_1 ~ condition + (1 | participant_id) + (1 | condition:participant_id), 
             data = d, REML = FALSE)

with

$$\Sigma = \begin{bmatrix}\sigma^2_1 + \sigma^2_2 & \sigma^2_1\\ \sigma^2_1 & \sigma^2_1 + \sigma^2_2 \end{bmatrix} = \begin{bmatrix}\sigma^2_1 & \sigma^2_1\\ \sigma^2_1 & \sigma^2_1\end{bmatrix} + \begin{bmatrix}\sigma^2_2 & 0\\ 0 & \sigma^2_2\end{bmatrix}$$

where $\sigma^2_1$ and $\sigma^2_2$ are the variance parameters for the participant and the participant-condition-combination intercepts, respectively. Note that this $\Sigma$ has a non-negative covariance parameter.

Below we see that mod1, mod3, and mod4 yield equivalent fits:

# code snippet from Jake Westfall
d$contrast <- 2*(d$condition == 'experimental') - 1

mod1 <- lmer(sim_1 ~ contrast + (contrast || participant_id),
             data = d, REML = FALSE)

mod2 <- lmer(sim_1 ~ contrast + (contrast | participant_id),
             data = d, REML = FALSE)

# new models 
mod3 <- lmer(sim_1 ~ contrast + (1 | participant_id) + (1 | contrast:participant_id), 
             data = d, REML = FALSE) 

mod4 <- lmer(sim_1 ~ condition + (1 | participant_id) + (1 | condition:participant_id), 
             data = d, REML = FALSE)

anova(mod3, mod1)
# Data: d
# Models:
# mod3: sim_1 ~ contrast + (1 | participant_id) + (1 | contrast:participant_id)
# mod1: sim_1 ~ contrast + ((1 | participant_id) + (0 + contrast | participant_id))
#      Df    AIC    BIC  logLik deviance Chisq Chi Df Pr(>Chisq)
# mod3  5 2396.9 2420.3 -1193.5   2386.9                        
# mod1  5 2396.9 2420.3 -1193.5   2386.9     0      0          1

anova(mod4, mod3)
# Data: d
# Models:
# mod4: sim_1 ~ condition + (1 | participant_id) + (1 | condition:participant_id)
# mod3: sim_1 ~ contrast + (1 | participant_id) + (1 | contrast:participant_id)
#      Df    AIC    BIC  logLik deviance Chisq Chi Df Pr(>Chisq)
# mod4  5 2396.9 2420.3 -1193.5   2386.9                        
# mod3  5 2396.9 2420.3 -1193.5   2386.9     0      0          1

---

With treatment contrasts (the default in R) the re-parameterized $\Sigma$ is

$$\Sigma = \begin{bmatrix}\sigma^2_1 & \sigma^2_1 + \sigma_{12}\\ \sigma^2_1 + \sigma_{12} & \sigma^2_1 + \sigma^2_2 + 2\sigma_{12} \end{bmatrix} = \begin{bmatrix}\sigma^2_1 & \sigma^2_1\\ \sigma^2_1 & \sigma^2_1\end{bmatrix} + \begin{bmatrix}0 & 0\\ 0 & \sigma^2_2\end{bmatrix} + \begin{bmatrix}0 & \sigma_{12}\\ \sigma_{12} & 2\sigma_{12}\end{bmatrix}$$

where $\sigma^2_1$ is the variance parameter for the intercept (condition $A$), $\sigma^2_2$ the variance parameter for the contrast ($A - B$), and $\sigma_{12}$ the corresponding covariance parameter.

We can see that neither setting $\sigma_{12}$ to zero nor setting $\sigma^2_2$ to zero tests (only) the hypothesis of equal variances.

However, as shown above, we can still use mod4 to test the hypothesis as changing the contrasts has no impact on the parameterization of $\Sigma$ for this model.