La visualizzazione della dimensione dell'effetto binomiale (BESD) è una rappresentazione fuorviante della dimensione dell'effetto?

È difficile per me accettare che Donald Rubin abbia mai escogitato un vero limone di una tecnica. Tuttavia, questa è la mia percezione del BESD [ 1 , 2 , 3 ].

L'articolo originale di Rosenthal e Rubin (1982) affermava che c'era valore nel mostrare "come rifondere qualsiasi correlazione del momento del prodotto in un tale display [2x2], sia che i dati originali fossero continui o categorici".

La tabella seguente è di p. 451 del 2 ° link sopra:

$R^2$$\phi$

Mi sto perdendo qualcosa di veramente prezioso qui? Inoltre, ho l'impressione che negli ultimi 10 anni la comunità statistica abbia in gran parte respinto questo come un metodo legittimo: mi sbaglio?

$E$$C$$sr$

$E_{sr} = .50 + r/2$

e

$C_{sr} = .50 - r/2$

Riferimento:

Rosenthal, R. e Rubin, DB (1982). Un semplice display per scopi generici di grandezza di effetto sperimentale. Journal of Educational Psychology, 74 , 166–169.

Posso dimostrare che è di parte (penso), ma non riesco a spiegare il perché. Spero che qualcuno possa vedere la mia risposta e aiutare a spiegarla di più.

Come in molte meta-analisi e nell'immagine che hai pubblicato, molte persone interpretano il BESD come: Se dovessi dividere medialmente entrambe le variabili, inseriresti accuratamente le persone nelle celle "giuste" di una tabella di contingenza 2 x 2 una data percentuale di il tempo.

$.50 + r/2 = .70$$r$

$r$

$r = .38$$.50 + r/2$

Ho quindi preso la deviazione media e standard di ciascuno di questi vettori di 10.000 di lunghezza. Il codice:

library(MASS)
# set population params
mu <- rep(0,2)
Sigma <- matrix(.38, nrow=2, ncol=2) + diag(2)*.62
# set seed
set.seed(1839)
# generate population
pop <- as.data.frame(mvrnorm(n=1000000, mu=mu, Sigma=Sigma))
# initialize vectors
besd_correct <- c()
actual_correct <- c()
# actually break up raw data by median split, see how it works
for (i in 1:10000) {
  samp <- pop[sample(1:1000000, 100),]
  besd_correct[i] <- round(100*(.50 + cor(samp)[1,2]/2),0)
  samp$V1_split <- ifelse(samp$V1 > median(samp$V1), 1, 0)
  samp$V2_split <- ifelse(samp$V2 > median(samp$V2), 1, 0)
  actual_correct[i] <- with(samp, table(V1_split==V2_split))[[2]]
}
# cells for BESD
mean(besd_correct)
100 - mean(besd_correct)
# cells for actual 2 x 2 table with median split
mean(actual_correct)
100 - mean(actual_correct)

Sulla base di BESD, otteniamo questa tabella, dove v1e si v2riferiscono alle variabili lowe si highriferiscono rispettivamente al di sotto e al di sopra della mediana:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 69     | 31      |
+---------+--------+---------+
| v1 high | 31     | 69      |
+---------+--------+---------+

Sulla base di una divisione mediana effettiva con i dati grezzi, otteniamo questa tabella:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 62     | 38      |
+---------+--------+---------+
| v1 high | 38     | 62      |
+---------+--------+---------+

Quindi, mentre qualcuno potrebbe sostenere, usando BESD, che esiste una "differenza di 38 punti percentuali nel controllo e nella sperimentazione", la divisione mediana effettiva ha questo numero a 24.

Non sono sicuro del perché questo accada, o se dipende dalla dimensione del campione e dalla correlazione (si potrebbero facilmente fare più simulazioni per capire), penso che questo dimostri che è distorto. Mi piacerebbe se qualcuno potesse entrare con una spiegazione matematica, piuttosto che computazionale.

L'intuizione di Mark White non è corretta. Il BESD non sta effettivamente modellando una divisione mediana. Una divisione mediana è associata a una reale perdita di informazioni statistiche - attenua sistematicamente le relazioni (vedi http://psycnet.apa.org/record/1990-24322-001), motivo per cui i valori di divisione mediana mostrano una precisione inferiore rispetto al BESD. Il BESD sta dimostrando l'accuratezza della classificazione come se le variabili fossero veramente dicotomiche, non artificialmente dicotomizzate attraverso una divisione mediana. Per vedere questo, calcola la correlazione sui dati di divisione mediana. Vedrai che è più piccolo della correlazione per le variabili originali. Se le variabili fossero originariamente binarie, i due metodi sarebbero d'accordo. Per sua natura, il BESD mostra le variabili come se fossero veramente binarie. Quando viene utilizzato per variabili continue, ciò rappresenta necessariamente un'astrazione: in realtà non esistono gruppi "successo" e "fallimento" o "trattamento" e "controllo",

Il BESD non è di parte. Riflette accuratamente l'impatto di un particolare trattamento sull'accuratezza della classificazione se stessimo lavorando con due variabili binarie. È una visualizzazione utile per dimostrare il potenziale valore pratico di una misura o di un trattamento e, sì, dimostra che anche gli effetti con una varianza ridotta calcolata per le statistiche possono essere significativamente importanti. Il BESD è ampiamente utilizzato nella pratica psicologica e organizzativa applicata e concorda fortemente con altri display di dimensioni di effetti pratici (ad esempio, che la selezione dall'alto verso il basso di un gruppo utilizzando una misura con una correlazione di validità di r = 0,25 porterà a 0,25 Aumento della DS nelle prestazioni dei risultati tra il gruppo selezionato rispetto a un gruppo non selezionato).

La varianza spiegata per le statistiche porta costantemente a fraintendimenti e sottostima delle dimensioni delle relazioni variabili perché l'operazione di quadratura non è lineare. Molti metodologi applicati (ad esempio, https://us.sagepub.com/en-us/nam/methods-of-meta-analysis/book240589 ) scoraggiano fortemente il loro uso a favore delle loro radici quadrate (che trasmettono in modo più preciso le dimensioni di effetti).