Una meta-analisi di studi che sono tutti "non statisticamente significativi" può portare a una conclusione "significativa"?

Una meta-analisi include una serie di studi, ognuno dei quali ha riportato un valore P superiore a 0,05. È possibile per la meta-analisi complessiva riportare un valore P inferiore a 0,05? In quali circostanze?

(Sono abbastanza sicuro che la risposta sia sì, ma vorrei un riferimento o una spiegazione.)

statistical-significance meta-analysis combining-p-values

— Harvey Motulsky
fonte

Non so molto sulla meta-analisi, ma avevo l'impressione che non coinvolgesse alcun test di ipotesi, solo una stima dell'effetto della popolazione, nel qual caso non c'è alcuna nozione di significato di cui parlare.

— Kodiologo il

Bene, una meta-analisi - alla fine della giornata - è solo una media ponderata. E puoi certamente impostare un test di ipotesi per quella media ponderata. Vedi, ad esempio, Borenstein, Michael, et al. "Un'introduzione di base ai modelli a effetti fissi e ad effetti casuali per la meta-analisi." Research Synthesis Methods 1.2 (2010): 97-111.

— boscovich,

Anche le altre risposte sono buone, ma un caso semplice: due studi sono significativi a p = 0,9 ma non a p = 0,95. La probabilità che due studi indipendenti mostrino entrambi p> = 0.9 è solo 0,01, quindi la tua meta analisi potrebbe mostrare significato a p = 0,99

— barrycarter,

Prendi il limite: nessuna misura può fornire prove sufficienti per / contro un'ipotesi (non banale) per avere un valore piccolo , ma una raccolta abbastanza grande di misure può.

p

$p$

— Eric Towers,

i valori p non indicano effetti "statisticamente significativi" o insignificanti. Cosa potremmo capire da una conclusione significativa? È una conclusione meta-analitica?

— Subhash C. Davar,

Risposte:

In teoria, sì ...

I risultati dei singoli studi possono essere insignificanti ma, visti insieme, i risultati possono essere significativi.

In teoria puoi procedere trattando i risultati di studio che piacciono le altre variabili casuali. $y_i$ $i$

Sia una variabile casuale (ad es. La stima dallo studio ). Quindi se sono indipendenti ed , puoi stimare costantemente la media con: $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{i} y_{i}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

Aggiungendo più presupposti, lascia che sia la varianza della stima . Quindi puoi stimare in modo efficiente con ponderazione inversa della varianza: $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{i} w_{i} y_{i} w_{i} = \frac{1 / σ_{i}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

In entrambi i casi, può essere statisticamente significativo a un certo livello di confidenza anche se le singole stime non lo sono. $\hat{\mu}$

MA potrebbero esserci grandi problemi, problemi di cui essere a conoscenza ...

Se la metanalisi potrebbe non convergere in (ovvero la media della meta-analisi è uno stimatore incoerente). $E[y_i] \neq \mu$ $\mu$

Ad esempio, se c'è una propensione a pubblicare risultati negativi, questa semplice meta-analisi potrebbe essere orribilmente incoerente e distorta! Sarebbe come stimare la probabilità che un lancio della moneta atterra la testa osservando solo i lanci in cui non ha ottenuto la coda!
$y_i$ e potrebbero non essere indipendenti. Ad esempio, se due studi e si basavano sugli stessi dati, allora trattare e come indipendenti nella meta-analisi potrebbe sottostimare ampiamente gli errori standard e sopravvalutare il significato statistico. Le tue stime sarebbero ancora coerenti, ma gli errori standard devono ragionevolmente tenere conto della correlazione incrociata negli studi. $y_j$ $i$ $j$ $y_i$ $y_j$
Combinare (1) e (2) può essere particolarmente negativo.

Ad esempio, la meta-analisi dei sondaggi di media insieme tende ad essere più accurata di qualsiasi singolo sondaggio. Ma la media dei sondaggi insieme è ancora vulnerabile all'errore correlato. Qualcosa che è emerso nelle elezioni passate è che i giovani sondaggi d'uscita possono tendere a intervistare altri giovani piuttosto che i vecchi. Se tutti i sondaggi di uscita fanno lo stesso errore, allora hai una stima sbagliata che potresti pensare sia una buona stima (i sondaggi di uscita sono correlati perché usano lo stesso approccio per condurre sondaggi di uscita e questo approccio genera lo stesso errore).

Indubbiamente le persone che hanno più familiarità con la meta-analisi possono trovare esempi migliori, problemi più sfumati, tecniche di stima più sofisticate, ecc ..., ma questo arriva ad alcune delle teorie di base e ad alcuni dei problemi più grandi. Se i diversi studi commettono errori casuali indipendenti, la meta-analisi può essere incredibilmente potente. Se l'errore è sistematico in tutti gli studi (es. Tutti sottostimano gli elettori più anziani ecc ...), anche la media degli studi sarà disattivata. Se si sottovalutano quanto sono correlati gli studi o quanto sono correlati gli errori, si sovrastima efficacemente la dimensione del campione aggregato e si sottostimano gli errori standard.

Ci sono anche tutti i tipi di problemi pratici di definizioni coerenti, ecc ...

— Matthew Gunn
fonte

Sto criticando una meta-analisi per ignorare le dipendenze tra le dimensioni degli effetti (cioè, molte dimensioni degli effetti erano basate sugli stessi partecipanti, ma trattate come indipendenti). Gli autori non dicono niente, siamo comunque solo interessati ai moderatori. Sto sottolineando il punto che hai esposto qui: trattandoli "come indipendenti nella meta-analisi possono sottostimare notevolmente gli errori standard e sopravvalutare il significato statistico". C'è uno studio di prova / simulazione che mostra perché questo è il caso? Ho molti riferimenti che dicono che errori correlati significano SE sottovalutati ... ma non so perché?

— Mark White il

@MarkWhite L'idea di base non è più complicata di . Se per tutti abbiamo e per allora e il tuo errore standard è . D'altra parte, se i termini della covarianza sono positivi e grandi, l'errore standard sarà maggiore.

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

— Matthew Gunn,

@MarkWhite Non sono un esperto di meta-analisi e onestamente non so quale sia una grande fonte per come si dovrebbe fare una meta-analisi moderna. Concettualmente, replicare l'analisi sugli stessi dati è certamente utile (come sta studiando intensamente alcune materie), ma non è la stessa cosa che riprodurre una scoperta su nuove materie indipendenti.

— Matthew Gunn,

Ah, quindi a parole: la varianza totale di una dimensione di effetto deriva da (a) la sua varianza e (b) è la covarianza con altre dimensioni di effetto. Se la covarianza è 0, allora la stima dell'errore standard va bene; ma se brilla con altre dimensioni di effetti, dobbiamo tenere conto di quella varianza e ignorarla significa che stiamo sottovalutando la varianza. È come se la varianza fosse formata da due parti A e B e ignorare le dipendenze presuppone che la parte B sia 0 quando non lo è?

— Mark White,

Inoltre, questa sembra essere una buona fonte (vedi in particolare il riquadro 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Mark White

Sì. Supponiamo di avere valori p da studi indipendenti. $N$ $N$

Test di Fisher

(EDIT - in risposta all'utile commento di @ mdewey di seguito, è importante distinguere tra diversi meta test. Spiego il caso di un altro meta test menzionato da mdewey di seguito)

Il classico meta test Fisher (vedi Fisher (1932), "Metodi statistici per i ricercatori" ) statistica ha una distribuzione nulla , come di rv uniforme .

F = - 2 \sum_{i = 1}^{N} \ln (p_{i})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

Lasci denotare il -quantile della distribuzione nulla. $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

Supponiamo che tutti i valori p siano uguali a , dove, possibilmente, . Quindi, e quando Ad esempio, per e , i singoli valori devono essere solo inferiori a $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Ovviamente, ciò che la meta statistica verifica è "solo" il null "aggregato" che tutti i singoli null sono veri, il che deve essere rifiutato non appena solo uno degli null è falso. $N$

MODIFICARE:

Ecco un grafico dei valori p "ammissibili" rispetto a , che conferma che cresce in , sebbene sembri a . $N$ $c$ $N$ $c\approx0.36$

Ho trovato un limite superiore per i quantili della distribuzione qui , suggerendo che modo che è limitato da come . Come , questo limite sembra ragionevolmente netto. $\chi^2$

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

Test inverso normale (Stouffer et al., 1949)

La statistica del test è data da con lo standard normale funzione quantile. Il test rifiuta valori negativi elevati, vale a dire, se

Z = \frac{1}{\sqrt{N}} \sum_{i = 1}^{N} Φ^{- 1} (p_{i})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— Christoph Hanck
fonte

1 / e

$1/e$

Grazie :-). Non me l'aspettavo neanche prima di vedere la trama ...

— Christoph Hanck,

È interessante notare che il metodo dovuto a Fisher è l'unico dei metodi comunemente usati che ha questa proprietà. Per la maggior parte degli altri ciò che chiami F aumenta con N se $ c> 0,5) e diminuisce altrimenti. Ciò si applica al metodo di Stouffer e al metodo di Edgington, nonché ai metodi basati sui logit e sulla media di p. I vari metodi che sono casi speciali del metodo di Wilkinson (minimo p, massimo p, ecc.) Hanno di nuovo proprietà diverse.

— mdewey,

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

p_{[1]} \leq p_{[2]} \dots p_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

p_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

$p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

Il metodo di LHC Tippett è descritto in un libro I metodi della statistica. 1931 (1a edizione) e il metodo di Wilkinson è qui in un articolo "Una considerazione statistica nella ricerca psicologica"

— mdewey
fonte

Grazie. Tuttavia, la maggior parte dei metodi di meta-analisi combinano le dimensioni degli effetti (tenendo conto di eventuali differenze nelle dimensioni del campione) e non combinano i valori P.

— Harvey Motulsky,

@HarveyMotulsky ha concordato, combinare i valori di p è l'ultima risorsa, ma l'OP ha taggato la sua domanda con il tag di combinazione di valori di p, quindi ho risposto con quello spirito

— mdewey

Penso che la tua risposta sia corretta.

— Subhash C. Davar,