La correzione di Benjamini-Hochberg è più prudente all'aumentare del numero di confronti?

Quanto è conservativa la correzione multipla dei test Benjamini-Hochberg rispetto al numero totale di confronti? Ad esempio, se ho un elenco di 18.000 funzioni per due gruppi ed eseguo un test Wilcoxon per ottenere un valore p. Adeguo quel valore p usando Benjamini-Hochberg e quasi nulla risulta così significativo.

So che la correzione di Bonferroni può essere piuttosto conservativa all'aumentare del numero di confronti, Benjamini-Hochberg ha la stessa proprietà?

Innanzitutto, è necessario comprendere che queste due procedure di test multipli non controllano la stessa cosa. Usando il tuo esempio, abbiamo due gruppi con 18.000 variabili osservate e tu esegui 18.000 test per identificare alcune variabili che sono diverse da un gruppo all'altro.

• La correzione di Bonferroni controlla il tasso di errore Familywise , ovvero la probabilità, supponendo che tutte le 18.000 variabili abbiano una distribuzione identica nei due gruppi, affermando erroneamente che "qui ho alcune differenze significative". Di solito, decidi che se questa probabilità è <5%, la tua richiesta è credibile.

• La correzione di Benjamini-Hochberg controlla il tasso di scoperta Falso , ovvero la percentuale attesa di falsi positivi tra le variabili per le quali si afferma l'esistenza di una differenza. Ad esempio, se con FDR controllato al 5% 20 test sono positivi, "in media" solo 1 di questi test sarà un falso positivo.

Ora, quando il numero di confronto aumenta ... beh, dipende dal numero di ipotesi nulle marginali che sono vere. Ma fondamentalmente, con entrambe le procedure, se ne hai alcune, diciamo 5 o 10, variabili realmente associate, hai più possibilità di rilevarle tra 100 variabili rispetto a 1.000.000 di variabili. Dovrebbe essere abbastanza intuitivo. Non c'è modo di evitarlo.