Benjamini e Hochberg hanno sviluppato il primo (e ancora più ampiamente usato, credo) metodo per controllare il tasso di scoperta falsa (FDR).

Voglio iniziare con un gruppo di valori P, ciascuno per un confronto diverso, e decidere quali sono abbastanza bassi da essere chiamati una "scoperta", controllando l'FDR su un valore specificato (diciamo il 10%). Un'ipotesi del solito metodo è che l'insieme di confronti sia indipendente o abbia "dipendenza positiva" ma non riesco a capire esattamente cosa significhi quella frase nel contesto dell'analisi di un insieme di valori P.

Dalla tua domanda e, in particolare, i vostri commenti a altre risposte, mi sembra che si sono confusi principalmente sulla "grande quadro" qui: vale a dire, cosa significa "dipendenza positiva" si riferiscono a in questo contesto, a tutti - a differenza di quanto è il significato tecnico della condizione PRDS. Quindi parlerò del quadro generale.

La grande immagine

Immagina di testare ipotesi null e immagina che siano tutte vere. Ciascuno dei valori è una variabile casuale; ripetere ripetutamente l'esperimento produrrebbe ogni volta un valore differnet, quindi si può parlare di una distribuzione di valori (sotto il valore null). È noto che per ogni test, una distribuzione di valori sotto il null deve essere uniforme; quindi nel caso di test multiplo, tutte le distribuzioni marginali di valori saranno uniformi.$N$$N$ $p$$p$$p$$p$$N$$p$

Se tutti i dati e tutti i test sono indipendenti l'uno dall'altro, anche la distribuzione dimensionale congiunta dei valori sarà uniforme. Ciò sarà vero, ad esempio in una classica situazione "jelly-bean" quando vengono testati un mucchio di cose indipendenti:$N$$N$$p$

Tuttavia, non deve essere così. Qualsiasi coppia di valori può in linea di principio essere correlata, positivamente o negativamente, o essere dipendente in qualche modo più complicato. Considera di provare tutte le differenze a coppie nelle medie tra quattro gruppi; questo è N = 4 ⋅ 3 / 2 = 6 prove. Ognuno dei sei valori p da solo è distribuito uniformemente. Ma sono tutti positivamente correlati: se (per un dato tentativo) il gruppo A per caso ha una media particolarmente bassa, allora il confronto A-vs-B potrebbe produrre un valore basso (questo sarebbe un falso positivo). Ma in questa situazione è probabile che anche A-vs-C, così come A-vs-D, produrrà un basso$p$$N=4\cdot 3/2=6$$p$$p$$p$-valori. Quindi i valori sono ovviamente non indipendenti e inoltre sono positivamente correlati tra loro.$p$

Questo è, informalmente, ciò a cui si riferisce "dipendenza positiva".

Questa sembra essere una situazione comune nei test multipli. Un altro esempio potrebbe essere il test delle differenze tra diverse variabili correlate tra loro. Ottenere una differenza significativa in una di esse aumenta le possibilità di ottenere una differenza significativa in un'altra.

È difficile trovare un esempio naturale in cui i valori sarebbero "negativamente dipendenti". @ user43849 ha osservato nei commenti sopra che per i test unilaterali è facile:$p$

Immagina che sto testando se A = 0 e anche se B = 0 rispetto alle alternative a una coda (A> 0 e B> 0). Immagina inoltre che B dipenda da A. Ad esempio, immagina di voler sapere se una popolazione contiene più donne rispetto agli uomini, e anche se la popolazione contiene più ovaie rispetto ai testicoli. Conoscere chiaramente il valore p della prima domanda cambia la nostra aspettativa del valore p per la seconda. Entrambi i valori p cambiano nella stessa direzione, e questo è PRD. Ma se invece testassi la seconda ipotesi che la popolazione 2 ha più testicoli delle ovaie, la nostra aspettativa per il secondo valore p diminuisce all'aumentare del primo valore p. Questo non è PRD.

Ma finora non sono stato in grado di trovare un esempio naturale con punti null.

Ora, l'esatta formulazione matematica della "dipendenza positiva" che garantisce la validità della procedura Benjamini-Hochberg è piuttosto complicata. Come menzionato in altre risposte, il riferimento principale è Benjamini & Yekutieli 2001 ; mostrano che la proprietà PRDS ("dipendenza di regressione positiva da ciascuna di un sottoinsieme") implica la procedura di Benjamini-Hochberg. È una forma rilassata della proprietà PRD ("dipendenza da regressione positiva"), il che significa che PRD implica PRDS e quindi comporta anche la procedura di Benjamini-Hochberg.

Per le definizioni di PRD / PRDS vedere la risposta di @ user43849 (+1) e il documento di Benjamini & Yekutieli. Le definizioni sono piuttosto tecniche e non ho una buona comprensione intuitiva di esse. Di fatto, B&Y menziona anche molti altri concetti correlati: positività totale multivariata del secondo ordine (MTP2) e associazione positiva. Secondo B&Y, sono correlati come segue (il diagramma è mio):

$\hskip{10em}$

MTP2 implica PRD che implica PRDS che garantisce la correttezza della procedura BH. PRD implica anche PA, ma PA PRDS.$\ne$

Ottima domanda! Facciamo un passo indietro e comprendiamo cosa ha fatto Bonferroni e perché è stato necessario per Benjamini e Hochberg sviluppare un'alternativa.

Negli ultimi anni è diventato necessario e obbligatorio eseguire una procedura chiamata correzione multipla dei test. Ciò è dovuto al numero crescente di test eseguiti simultaneamente con scienze ad alto rendimento, in particolare nella genetica con l'avvento di studi sull'associazione dell'intero genoma (GWAS). Scusa il mio riferimento alla genetica, in quanto è la mia area di lavoro. Se stiamo eseguendo test 1.000.000 simultaneamente a , ci si aspetterebbe di 50 , 000 falsi positivi. Questo è ridicolmente grande, e quindi dobbiamo controllare il livello al quale viene valutata la significatività. La correzione bonferroni, cioè dividendo la soglia di accettazione (0,05) per il numero di test indipendenti ( 0,05 /$P = 0.05$$50,000$ corregge il tasso di errore saggio della famiglia ( F W E R ).$(0.05/M)$$FWER$

Ciò è vero perché il FWER è relativo a tasso di errore test-wise ( ) dall'equazione F W E R = 1 - ( 1 - T W E R ) M . Cioè, il 100 percento meno 1 sottrae il tasso di errore saggio del test elevato alla potenza del numero di test indipendenti eseguiti. Partendo dal presupposto che ( 1 - 0,05 ) 1 / M = 1 - $TWER$$FWER = 1 - (1 - TWER)^M$ dàTWER≈$(1- 0.05)^{1/M} = 1-\frac{0.05}{M}$ , che è il valore di accettazione P corretto per i test M completamente indipendenti.$TWER \approx \frac{0.05}{M}$

Il problema che incontriamo ora, così come Benjamini e Hochberg, è che non tutti i test sono completamente indipendenti. Pertanto, la correzione Bonferroni, sebbene robusta e flessibile, è una correzione eccessiva . Considera il caso della genetica in cui due geni sono collegati in un caso chiamato disequilibrio del legame; cioè, quando un gene ha una mutazione, è più probabile che ne sia espresso un altro. Questi ovviamente non sono test indipendenti, anche se nella correzione bonferroni si presume che lo siano . È qui che iniziamo a vedere che la divisione del valore P per M sta creando una soglia artificialmente bassa a causa di presunti test indipendenti che si influenzano davvero a vicenda, creando quindi una M che è troppo grande per la nostra situazione reale, dove le cose non sono non è indipendente.

La procedura suggerita da Benjamini e Hochberg e ampliata da Yekutieli (e molti altri) è più liberale di Bonferroni, e in effetti la correzione di Bonferroni è attualmente utilizzata solo nel più vasto degli studi. Questo perché, in FDR, assumiamo una certa interdipendenza da parte dei test e quindi una M che è troppo grande e non realistica e che si sbarazza dei risultati che, in realtà, ci preoccupano. Pertanto, nel caso di 1000 test che non sono indipendenti, la vera M non sarebbe 1000, ma qualcosa di più piccolo a causa delle dipendenze. Pertanto, quando dividiamo 0,05 per 1000, la soglia è troppo rigida ed evita alcuni test che potrebbero essere di interesse.

Non sono sicuro se ti preoccupi dei meccanismi alla base del controllo della dipendenza, anche se in tal caso ho collegato il documento Yekutieli come riferimento. Allegherò anche alcune altre cose per vostra informazione e curiosità.

Spero che questo abbia aiutato in qualche modo, se ho travisato qualcosa per favore fatemelo sapere.

~ ~ ~

Riferimenti

Documento Yekutieli sulle dipendenze positive - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(vedi 1.3 - Il problema.)

Spiegazione di Bonferroni e altre cose di interesse - recensioni di Nature Genetics. Test statistici di potenza e significatività in studi genetici su larga scala - Pak C Sham e Shaun M Purcell

(vedi riquadro 3.)

http://en.wikipedia.org/wiki/Familywise_error_rate

MODIFICARE:

Nella mia risposta precedente non ho definito direttamente la dipendenza positiva, che era ciò che era stato chiesto. Nel documento di Yekutieli, la sezione 2.2è intitolata Dipendenza positiva, e suggerisco questo in quanto è molto dettagliato. Tuttavia, credo che possiamo renderlo un po 'più conciso.

Inizialmente il documento inizia parlando di dipendenza positiva, usandola come un termine vago che è interpretabile ma non specifico. Se leggi le prove, la cosa che viene menzionata come dipendenza positiva si chiama PRSD, definita in precedenza come "Dipendenza da regressione positiva su ognuna da un sottoinsieme ". I 0 è il sottoinsieme di test che supportano correttamente l'ipotesi nulla (0). Il PRDS viene quindi definito come segue.$I_0$$I_0$

$X$$I_0$$X$$I_0$$X$$I_0$$x$$X$

$P$

In sintesi, la proprietà della dipendenza positiva è in realtà la proprietà della dipendenza dalla regressione positiva di tutta la nostra serie di statistiche di test sulla nostra serie di statistiche di test nulli reali e controlliamo per un FDR di 0,05; pertanto, poiché i valori di P vanno dal basso verso l'alto (la procedura di incremento), aumentano le probabilità di far parte dell'insieme null.

La mia precedente risposta nei commenti sulla matrice di covarianza non era errata, solo un po 'vaga. Spero che questo aiuti un po 'di più.

Ho trovato questa prestampa utile per comprenderne il significato. Va detto che offro questa risposta non come esperto dell'argomento, ma come tentativo di capire di essere controllato e convalidato dalla comunità.

Grazie ad Amoeba per osservazioni molto utili sulla differenza tra PRD e PRDS, vedere i commenti

$p$$C$$p$$C$

1. $q$$C$
2. $r$$q$$r$$q$$r_i < q_i$$i$
3. $r$$C$

$C$

$p$$p_1 ... p_{n} < B_1 ... B_n$$p$$C$$B_1 ... B_n$

$p_i$$p_i$$p_i$$p_1 ... p_n$$p_1 ... p_n$$p_i$

$p_1 ... p_n$

$p_n$$p_n < B$$B$$p_n < B$$p_n < B$$B$

Modificato per aggiungere:

Ecco un esempio putativo di un sistema che non è PRDS (codice R di seguito). La logica è che quando i campioni aeb sono molto simili, è più probabile che il loro prodotto sia atipico. Sospetto che questo effetto (e non la non uniformità dei valori di p sotto il valore nullo per il (a*b), (c*d)confronto) stia guidando la correlazione negativa nei valori di p, ma non posso esserne sicuro. Lo stesso effetto appare se eseguiamo un test t per il secondo confronto (piuttosto che un Wilcoxon), ma la distribuzione dei valori di p non è ancora uniforme, presumibilmente a causa di violazioni del presupposto della normalità.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)

Nel loro articolo , Benjamini e Yekutieli forniscono alcuni esempi di come la dipendenza da regressione positiva (PRD) sia diversa dal solo essere associato positivamente. La procedura di controllo FDR si basa su una forma più debole di PRD che chiamano PRDS (ovvero PRD su ciascuno da un sottoinsieme di variabili).

La dipendenza positiva è stata originariamente proposta nel contesto bivariato da Lehmann , ma la versione multivariata di questo concetto, nota come dipendenza da regressione positiva è ciò che è rilevante per i test multipli.

Ecco un estratto rilevante da pag.6

$\mathbf{X}$$(\mathbf{X}_1, \mathbf{X}_2)$$\mathbf{X}$$h(\mathbf{X}_1)$$\mathbf{X}_2$$h(\mathbf{X}_1)$

$$\ldots$$

La dipendenza positiva in questo caso significa che l'insieme di test è correlato positivamente. L'idea quindi è che se le variabili nel set di test per cui si hanno valori P sono positivamente correlate, ognuna delle variabili non è indipendente .

Se ripensi a una correzione del valore p di Bonferroni, ad esempio, puoi garantire che il tasso di errore di tipo 1 sia inferiore al 10% rispetto a 100 test statisticamente indipendenti impostando la soglia di significatività su 0,1 / 100 = 0,001. Ma cosa succederebbe se ciascuno di questi 100 test fosse correlato in qualche modo? Quindi non hai davvero eseguito 100 test separati.

In FDR, l'idea è leggermente diversa dalla correzione Bonferroni. L'idea è di garantire che solo una certa percentuale (diciamo il 10%) delle cose che dichiarate significative siano dichiarate falsamente significative. Se nel set di dati sono presenti marcatori correlati (dipendenza positiva), il valore FDR viene scelto in base al numero totale di test eseguiti (ma il numero effettivo di test statisticamente indipendenti è inferiore). In questo modo è più sicuro concludere che il tasso di falsa scoperta sta dichiarando erroneamente un 10% o meno significativo dei test nel tuo set di valori P.

Si prega di consultare questo capitolo del libro per una discussione sulla dipendenza positiva.