Calcolo dell'affidabilità inter-rater in R con numero variabile di rating?

Wikipedia suggerisce che un modo per considerare l'affidabilità inter-rater è usare un modello di effetti casuali per calcolare la correlazione intraclasse . L'esempio di correlazione intraclasse parla di guardare

\frac{σ_{α}^{2}}{σ_{α}^{2} + σ_{ϵ}^{2}}

$\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2}$

da un modello

Y_{i j} = μ + α_{i} + ϵ_{i j}

$Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$

"dove Y _ij è il j ^esima osservazione nell'i ^esimo gruppo, μ è una media complessiva osservata, α _i è un effetto casuale inosservato condivisa da tutti i valori del gruppo I, e ε _ij è un termine rumore inosservato."

Questo è un modello interessante soprattutto perché nei miei dati nessun valutatore ha valutato tutte le cose (sebbene la maggior parte abbia valutato 20+) e le cose sono valutate un numero variabile di volte (di solito 3-4).

Domanda n. 0: "gruppo i" in quell'esempio ("gruppo i") è un raggruppamento di cose classificate?

Domanda n. 1: se cerco l'affidabilità inter-rater, non ho bisogno di un modello di effetti casuali con due termini, uno per il rater e uno per la cosa classificata? Dopotutto, entrambi hanno possibili variazioni.

Domanda n. 2: come esprimere al meglio questo modello in R?

Sembra che questa domanda abbia una proposta carina:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Ho esaminato un paio di domande e la sintassi del parametro "random" per lme è opaca per me. Ho letto la pagina di aiuto per lme , ma la descrizione di "random" è incomprensibile per me senza esempi.

Questa domanda è in qualche modo simile a una lunga lista di domande , con questa la più vicina. Tuttavia, molti non affrontano la R in dettaglio.

r reliability random-effects-model agreement-statistics

— dfrankow
fonte

I modelli di effetti misti e quelli di effetti casuali sono codificati allo stesso modo in R. Vedi ncbi.nlm.nih.gov/pmc/articles/PMC3402032 per ulteriori informazioni sul tuto!

— Noé,

Il modello a cui hai fatto riferimento nella tua domanda è chiamato "modello unidirezionale". Presuppone che gli effetti di riga casuali siano l'unica fonte sistematica di varianza. Nel caso dell'affidabilità inter-rater, le file corrispondono agli oggetti di misura (ad es. Soggetti).

Modello a senso unico : dove è la media per tutti gli oggetti, è l'effetto riga e è l'effetto residuo.
$x_{i j} = μ + r_{i} + w_{i j}$ $x_{ij} = \mu + r_i + w_{ij}$ $\mu$ $r_i$ $w_{ij}$

Tuttavia, ci sono anche "modelli a due vie". Questi presuppongono che vi sia una varianza associata agli effetti di riga casuali e agli effetti di colonna casuali o fissi. Nel caso dell'affidabilità inter-rater, le colonne corrispondono alle fonti di misurazione (ad es., I rater).

Modelli a due vie : dove è la media per tutti oggetti, è l'effetto riga, è l'effetto colonna, è l'effetto di interazione ed è l'effetto residuo. La differenza tra questi due modelli è l'inclusione o l'esclusione dell'effetto di interazione.
$x_{i j} = μ + r_{i} + c_{j} + r c_{i j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$ $x_{i j} = μ + r_{i} + c_{j} + e_{i j}$ $x_{ij} = \mu + r_i + c_j + e_{ij}$ $\mu$ $r_i$ $c_j$ $rc_{ij}$ $e_{ij}$

Dato un modello a due vie, è possibile calcolare uno dei quattro coefficienti ICC: la coerenza del punteggio singolo ICC (C, 1), la coerenza del punteggio medio ICC (C, k), l'accordo sul punteggio singolo ICC (A, 1) o l'accordo sul punteggio medio ICC (A, k). Le ICC a punteggio singolo si applicano alle misurazioni singole (ad esempio, singoli rater), mentre le ICC a punteggio medio si applicano alle misurazioni medie (ad esempio, la media di tutti i rater). Le ICC di coerenza escludono la varianza della colonna dalla varianza del denominatore (ad esempio, consentendo ai valutatori di variare intorno ai propri mezzi), mentre le ICC di accordo includono la varianza della colonna nella varianza del denominatore (ad esempio, imponendo ai valutatori di variare intorno alla stessa media). $x_{ij}$ $\bar{x}_i$

Ecco le definizioni se si assume un effetto di colonna casuale:

Definizioni ICC a effetti casuali a due vie (con o senza effetto di interazione) :
$I C C (C, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2}}$ $ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$ $I C C (C, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + σ_{e}^{2} / k}$ $ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$ $I C C (A, 1) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2})} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2})}$ $ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$ $I C C (A, k) = \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{r c}^{2} + σ_{e}^{2}) / k} or \frac{σ_{r}^{2}}{σ_{r}^{2} + (σ_{c}^{2} + σ_{e}^{2}) / k}$ $ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$

Puoi anche stimare questi valori usando i quadrati medi di ANOVA:

ICC a due vie :
$I C C (C, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E}}$ $ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$ $I C C (C, k) = \frac{M S_{R} - M S_{E}}{M S_{R}}$ $ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$ $I C C (A, 1) = \frac{M S_{R} - M S_{E}}{M S_{R} + (k - 1) M S_{E} + k / n (M S_{C} - M S_{E})}$ $ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$ $I C C (A, k) = \frac{M S_{R} - M S_{E}}{M S_{R} + (M S_{C} - M S_{E}) / n}$ $ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$

Puoi calcolare questi coefficienti in R usando il pacchetto irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Riferimenti

McGraw, KO e Wong, SP (1996). Formare inferenze su alcuni coefficienti di correlazione intraclasse. Metodi psicologici, 1 (1), 30–46.

Shrout, PE e Fleiss, JL (1979). Correlazioni intraclasse: usi nella valutazione dell'affidabilità dei valutatori. Bollettino psicologico, 86 (2), 420–428.

— Jeffrey Girard
fonte

Grazie per la magnifica risposta! In un modello a due vie all'interno di icc in R, come possiamo rappresentare una selezione casuale di rater per riga? Voglio dire, immagina di avere un pool di 100 rater e ogni argomento è valutato da circa 5-10 di essi. Un simile scenario può essere gestito dal pacchetto icc?

— michal,

Ogni rater dovrebbe avere la propria colonna nella matrice in cui si alimenta la funzione icc. Altrimenti, il calcolo è lo stesso per i modelli di effetti casuali e misti - la differenza principale è nell'interpretazione (quanto si possono considerare i risultati generalizzabili).

— Jeffrey Girard,

Grazie per la risposta! Sto cercando di farlo, avendo principalmente NA nelle celle (e solo pochi valori con numeri effettivi per colonna, in cui un particolare valutatore ha valutato un soggetto corrispondente a una riga). Tuttavia, nell'output sto ricevendo un testo che dice che non sono stati registrati soggetti (ad es. Soggetti = 0 Raters = 9). Forse significa che ovunque è stata trovata almeno una NA, l'intera riga viene filtrata? Ma allora come posso indicare le valutazioni mancanti da un valutatore?

— michal,

Hmm che potrebbe essere una limitazione di questa specifica funzione icc. Ho uno script MATLAB in grado di gestire questa situazione. Ti capita di avere accesso a MATLAB?

— Jeffrey Girard,

Sì, controlla il mio sito Web: mreliability.jmgirard.com

— Jeffrey Girard,