Differenza tra Cohen's d e Hedges 'g per le metriche della dimensione dell'effetto

Per un'analisi della dimensione dell'effetto, sto notando che ci sono differenze tra d di Cohen, g di Hedges e g * di Hedges.

• Queste tre metriche sono normalmente molto simili?
• Quale sarebbe un caso in cui avrebbero prodotto risultati diversi?
• Inoltre è una questione di preferenza con cui utilizzo o riferisco?

Entrambe le varianze di pool di Cohen's d e Hedges si basano sull'ipotesi di varianze di popolazione uguali, ma i pool di g usano n - 1 per ciascun campione anziché n, il che fornisce una stima migliore, in particolare più piccole sono le dimensioni del campione. Sia d che g sono in qualche modo positivamente distorti, ma solo in modo trascurabile per campioni di dimensioni moderate o maggiori. Il bias viene ridotto usando g *. D di Glass non assume varianze uguali, quindi utilizza lo standard di un gruppo di controllo o un gruppo di confronto di base come standardizzatore per la differenza tra i due mezzi.

Queste dimensioni dell'effetto e quelle di Cliff e altre dimensioni non parametriche sono discusse in dettaglio nel mio libro:

Grissom, RJ e Kim, J, J. (2005). Dimensioni dell'effetto per la ricerca: un ampio approccio pratico. Mahwah, NJ: Erlbaum.

Per quanto ne so, la g di Hedges è una versione un po 'più accurata della d di Cohen (con SD in pool) in quanto aggiungiamo un fattore di correzione per un piccolo campione. Entrambe le misure concordano generalmente quando l'assunzione dell'omoscedasticità non viene violata, ma possiamo trovare situazioni in cui non è così, vedi ad esempio McGrath & Meyer, Psychological Methods 2006, 11 (4) : 386-401 ( pdf ). Altri articoli sono elencati alla fine della mia risposta.

In genere ho scoperto che in quasi tutti gli studi psicologici o biomedici, questo è il Cohen che viene riportato; questo probabilmente deriva dalla nota regola empirica per l'interpretazione della sua grandezza (Cohen, 1988). Non conosco alcun articolo recente che consideri il g di Hedges (o il delta di Cliff come alternativa non parametrica). Bruce Thompson ha una versione rivista della sezione APA sulla dimensione dell'effetto.

Cercando su Google gli studi di Monte Carlo sulle misure della dimensione dell'effetto, ho trovato questo documento che potrebbe essere interessante (ho letto solo l'abstract e la configurazione della simulazione): Intervalli di confidenza robusti per le dimensioni dell'effetto: uno studio comparativo del delta di Cohen e del delta della scogliera sotto la non normalità e varianze eterogenee (pdf).

Informazioni sul secondo commento, il MBESSpacchetto R include varie utilità per il calcolo ES (ad es. smdE funzioni correlate).

Altre referenze

1. Zakzanis, KK (2001). Statistiche per dire la verità, tutta la verità e nient'altro che la verità: formule, esempi numerici illustrativi e interpretazione euristica delle analisi delle dimensioni degli effetti per i ricercatori neuropsicologici. Archivi di Neuropsicologia clinica , 16 (7), 653-667. ( pdf )
2. Durlak, JA (2009). Come selezionare, calcolare e interpretare le dimensioni degli effetti. Journal of Pediatric Psychology ( pdf )

Sembra che quando la gente dice che Cohen significhi principalmente:

$$d = \frac{\bar{x}_1 - \bar{x}_2}{s}$$

$s$

$$s = \sqrt{\frac{\sum(x_1 - \bar{x}_1)^2 + (x_2 - \bar{x}_2)^2}{n_1 + n_2 - 2}}$$

Esistono altri stimatori per la deviazione standard aggregata, probabilmente il più comune a parte quanto sopra:

$$s^* = \sqrt{\frac{\sum(x_1 - \bar{x}_1)^2 + (x_2 - \bar{x}_2)^2}{n_1 + n_2}}$$

$s^*$$n_1 + n_2$$d$$g$$s$$s$

Altre volte Hedge's g si riserva di fare riferimento a una delle versioni corrette di bias di una differenza media standardizzata sviluppata da Hedges. Hedges (1981) ha mostrato che la d di Cohen era distorta verso l'alto (cioè, il suo valore atteso è superiore al valore del parametro della popolazione reale), specialmente in piccoli campioni, e ha proposto un fattore di correzione per correggere la distorsione di Cohen:

G di Hedges (lo stimatore imparziale):

$$g = d * (\frac{\Gamma(df/2)}{\sqrt{df/2 \,}\,\Gamma((df-1)/2)})$$ $df = n_1 + n_2 -2$$\Gamma$

Tuttavia, questo fattore di correzione è abbastanza complesso dal punto di vista computazionale, quindi Hedges ha fornito anche un'approssimazione computazionalmente banale che, sebbene ancora leggermente distorta, va bene per quasi tutti gli scopi immaginabili:

$g^*$

$$g^* = d*(1 - \frac{3}{4(df) - 1})$$ $df = n_1 + n_2 -2$

(Originario di Hedges, 1981, questa versione di Borenstein, Hedges, Higgins e Rothstein, 2011, p. 27)

$g^*$$g^*$ too!).

They are all virtually identical if $n > 20$ or so, and all can be interpreted in the same way. For all practical purposes, unless you're dealing with really small sample sizes, it probably doesn't matter which you use (although if you can pick, you may as well use the one that I've called Hedges' g, as it is unbiased).

References:

Borenstein, M., Hedges, L. V., Higgins, J. P., & Rothstein, H. R. (2011). Introduction to Meta-Analysis. West Sussex, United Kingdom: John Wiley & Sons.

Cohen, J. (1977). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ, US: Lawrence Erlbaum Associates, Inc.

Hedges, L. V. (1981). Distribution Theory for Glass's Estimator of Effect size and Related Estimators. Journal of Educational Statistics, 6(2), 107-128. doi:10.3102/10769986006002107

Hedges L. V., Olkin I. (1985). Statistical methods for meta-analysis. San Diego, CA: Academic Press

If you're just trying to understand the basic meaning of Hedges' g, as I am, you might also find this helpful:

The magnitude of Hedges’ g may be interpreted using Cohen's (1988 [2]) convention as small (0.2), medium (0.5), and large (0.8). [1]

Their definition is short and clear:

Hedges’ g is a variation of Cohen's d that corrects for biases due to small sample sizes (Hedges & Olkin, 1985). [1] footnote

I would appreciate statistics experts editing this to add any important caveats to the small (0.2) medium (0.5) and large (0.8) claim, to help nonexperts avoid misinterpreting Hedges' g numbers used in social science and psychology research.

[1] http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2848393/ The Effect of Mindfulness-Based Therapy on Anxiety and Depression: A Meta-Analytic Review Stefan G. Hofmann, Alice T. Sawyer, Ashley A. Witt, and Diana Oh. J Consult Clin Psychol. 2010 April; 78(2): 169–183. doi: 10.1037/a0018555

[2] Cohen J. Statistical power analysis for the behavioral sciences. 2nd ed. Erlbaum; Hillsdale, NJ: 1988 (cited in [1])

The other posters have covered the issue of similarities and differences between g and d. Just to add to this, some scholars do feel that the effect size values offered by Cohen are far too generous leading to overinterpretation of weak effects. They are also not tied to r leading to the possibility scholars may convert back and forth to obtain more favorably interpretable effect sizes. Ferguson (2009, Professional Psychology: Research and PRactice) suggested using the following values for interpretation for g:

.41, as the recommended minimum for "practical significance." 1.15, moderate effect 2.70, strong effect

These are obviously more rigorous/difficult to achieve and not many social science experiments are going to get to strong effects...which is probably how it should be.

Bruce Thompson did warn about using Cohen's (0.2) as small (0.5) as medium and (0.8) as large. Cohen never meant for these to be used as rigid interpretations. All effect sizes must be interpreted based on the context of the related literature. If you are analyzing the related effect sizes reported on your topic and they are (0.1) (0.3) (0.24) and you produce an effect of (0.4) then that may be "large". Conversely, if all the related literature has effects of (0.5) (0.6) (0.7) and you have the effect of (0.4) it may be considered small. I know this is a trivial example but imperatively important. I believe Thompson once stated in a paper, "We would merely be stupid in a different metric" when comparing interpretations of effect sizes to how social scientists were interpreting p values at the time.