Mi sono appena imbattuto in questo documento , che descrive come calcolare la ripetibilità ( nota anche come affidabilità, nota anche come correlazione intraclasse) di una misurazione tramite la modellazione di effetti misti. Il codice R sarebbe:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Ritengo che questo approccio possa essere utilizzato anche per calcolare l'affidabilità degli effetti (ovvero la somma dell'effetto di contrasto di una variabile con 2 livelli), come in:

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Tre domande:

Hanno senso i calcoli di cui sopra per ottenere la stima puntuale della ripetibilità di un effetto?
Quando ho più variabili di cui voglio stimare la ripetibilità, aggiungendole tutte allo stesso adattamento (ad es. lmer(dv~(iv1+iv2|unit)+iv1+iv2) Sembra produrre stime di ripetibilità più elevate rispetto alla creazione di un modello separato per ciascun effetto. Questo ha senso dal punto di vista computazionale per me, poiché l'inclusione di più effetti tenderà a ridurre la varianza residua, ma non sono sicuro che le stime di ripetibilità risultanti siano valide. Sono loro?
Il documento sopra citato suggerisce che la profilazione della probabilità potrebbe aiutarmi a ottenere intervalli di confidenza per le stime di ripetibilità, ma per quanto ne so, confint(profile(fit))fornisce solo intervalli per le varianze di intercettazione ed effetto, mentre avrei bisogno anche dell'intervallo per il calcolo della varianza residua l'intervallo per la ripetibilità, no?

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— Mike Lawrence
fonte

Penso di poter rispondere alle tue domande almeno per quanto riguarda le stime di ripetibilità non rettificate , ovvero le correlazioni classiche intra-class (ICC). Per quanto riguarda le stime di ripetibilità "adeguate", ho sfogliato il documento che hai collegato e non ho davvero visto dove si trova la formula che applichi nel documento? Basato sull'espressione matematica, sembra essere la ripetibilità dei punteggi medi (piuttosto che dei punteggi individuali). Ma non è chiaro che questa sia una parte critica della tua domanda, quindi la ignorerò.

(1.) Hanno senso i calcoli sopra riportati per ottenere la stima puntuale della ripetibilità di un effetto?

Sì, l'espressione che proponi ha un senso, ma è necessaria una leggera modifica alla formula proposta. Di seguito mostro come si potrebbe derivare il coefficiente di ripetibilità proposto. Spero che questo chiarisca entrambi il significato concettuale del coefficiente e mostri anche perché sarebbe auspicabile modificarlo leggermente.

Per iniziare, prendiamo innanzitutto il coefficiente di ripetibilità nel primo caso e chiariamo cosa significa e da dove viene. Comprendere questo ci aiuterà a capire il secondo caso più complicato.

Solo intercettazioni casuali

In questo caso, il modello misto per l' risposta nel gruppo è dove le intercettazioni casuali hanno varianza e i residui hanno varianza . $i$ $j$

y_{i j} = β_{0} + u_{0 j} + e_{i j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Ora, la correlazione tra due variabili casuali ed è definito come $x$ $y$

c o r r = \frac{c o v (x, y)}{\sqrt{v a r (x) v a r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

L'espressione per coefficiente ICC / ripetibilità viene poi dal lasciare le due variabili casuali ed tramite due osservazioni tratte dallo stesso gruppo, e se lo semplifichi usando le definizioni di cui sopra e le proprietà di varianze / covarianze (un processo che non mostrerò qui, a meno che tu o altri non preferireste che io abbia fatto), con $x$ $y$ $j$

I C C = \frac{c o v (β_{0} + u_{0 j} + e_{i_{1} j}, β_{0} + u_{0 j} + e_{i_{2} j})}{\sqrt{v a r (β_{0} + u_{0 j} + e_{i_{1} j}) v a r (β_{0} + u_{0 j} + e_{i_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

I C C = \frac{σ_{u_{0}}^{2}}{σ_{u_{0}}^{2} + σ_{e}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$ Ciò significa che l'ICC o "coefficiente di ripetibilità non aggiustato" in questo caso ha una semplice interpretazione della correlazione attesa tra una coppia di osservazioni dallo stesso cluster (al netto degli effetti fissi, che in questo caso è solo la media generale). Il fatto che l'ICC sia anche interpretabile come una percentuale di varianza in questo caso è una coincidenza; tale interpretazione non è vera in generale per ICC più complicate. L'interpretazione come una sorta di correlazione è ciò che è primario.

Intercettazioni casuali e pendenze casuali

Ora per il secondo caso, dobbiamo prima chiarire cosa si intende esattamente con "l'affidabilità degli effetti (ovvero l'effetto di somma del contrasto di una variabile con 2 livelli)" - le tue parole.

Per prima cosa esponiamo il modello. Il modello misto per l' risposta nel ° gruppo sotto il ° livello di un predittore con codice di contrasto è dove le intercettazioni casuali hanno varianza , le pendenze casuali hanno varianza , le intercettazioni casuali e la pendenza hanno covarianza e i residui hanno varianza . $i$ $j$ $k$ $x$

y_{i j k} = β_{0} + β_{1} x_{k} + u_{0 j} + u_{1 j} x_{k} + e_{i j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Allora, qual è la "ripetibilità di un effetto" sotto questo modello? Penso che una buona definizione del candidato sia che è la correlazione attesa tra due coppie di punteggi di differenza calcolati all'interno dello stesso cluster , ma attraverso diverse coppie di osservazioni . $j$ $i$

Quindi la coppia di punteggi delle differenze in questione sarebbe (ricorda che abbiamo assunto che sia codificato in contrasto in modo che ): e $x$ $|x_1|=|x_2|=x$

y_{i_{1} j k_{2}} - y_{i_{1} j k_{1}} = (β_{0} - β_{0}) + β_{1} (x_{k_{2}} - x_{k_{1}}) + (u_{0 j} - u_{0 j}) + u_{1 j} (x_{k_{2}} - x_{k_{1}}) + (e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) = 2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{i_{2} j k_{2}} - y_{i_{2} j k_{1}} = 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

Inserendoli nella formula di correlazione ci dà che semplifica fino a Si noti che l'ICC è tecnicamente una funzione di ! Tuttavia, in questo caso può assumere solo 2 valori possibili e l'ICC è identico in entrambi questi valori.

I C C = \frac{c o v (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}, 2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}{\sqrt{v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{1} j k_{2}} - e_{i_{1} j k_{1}}) v a r (2 x β_{1} + 2 x u_{1 j} + e_{i_{2} j k_{2}} - e_{i_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

I C C = \frac{2 x^{2} σ_{u_{1}}^{2}}{2 x^{2} σ_{u_{1}}^{2} + σ_{e}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

Come puoi vedere, questo è molto simile al coefficiente di ripetibilità che hai proposto nella tua domanda, l'unica differenza è che la varianza della pendenza casuale deve essere adeguatamente ridimensionata se l'espressione deve essere interpretata come un ICC o "coefficiente di ripetibilità non rettificato". L'espressione che hai scritto funziona nel caso speciale in cui il predittore è codificato , ma non in generale. $x$ $\pm\frac{1}{\sqrt{2}}$

(2.) Quando ho più variabili di cui voglio stimare la ripetibilità, aggiungendole tutte allo stesso adattamento (ad esempio lmer(dv~(iv1+iv2|unit)+iv1+iv2) sembra produrre stime di ripetibilità più elevate rispetto alla creazione di un modello separato per ciascun effetto. Questo ha senso dal punto di vista computazionale per me, poiché l'inclusione di più effetti tenderà a ridurre la varianza residua, ma non sono sicuro che le stime di ripetibilità risultanti siano valide. Sono loro?

Credo che lavorare con una derivazione simile a quella presentata sopra per un modello con più predittori con le loro inclinazioni casuali mostrerebbe che il coefficiente di ripetibilità sopra sarebbe ancora valido, fatta eccezione per la complicazione aggiunta che i punteggi delle differenze a cui siamo concettualmente interessati ora hanno una definizione leggermente diversa: vale a dire, siamo interessati alla correlazione attesa delle differenze tra le medie rettificate dopo aver controllato gli altri predittori nel modello.

Se gli altri predittori sono ortogonali al predittore di interesse (come, ad esempio, in un esperimento equilibrato), penso che il coefficiente ICC / ripetibilità elaborato sopra dovrebbe funzionare senza alcuna modifica. Se non sono ortogonali, è necessario modificare la formula per tenerne conto, il che potrebbe complicarsi, ma si spera che la mia risposta abbia fornito alcuni suggerimenti su come potrebbe apparire.

— Jake Westfall
fonte

Hai ragione Jake. L'ICC rettificato si riferisce alla sezione VII. RIPETIBILITÀ E ERITABILITÀ ESTRAPOLATE nel documento collegato. Gli autori scrivono È importante distinguere tra la ripetibilità delle singole misurazioni e la ripetibilità dei mezzi di misurazione $R$ $R_n$ .

— Gabra,

Ripetibilità informatica degli effetti da un modello più leggero

Solo intercettazioni casuali

Intercettazioni casuali e pendenze casuali