In che modo le procedure FDR stimano un tasso di rilevamento falso senza un modello di tassi di base?

9

Qualcuno può spiegare come le procedure FDR sono in grado di stimare un FDR senza un modello / assunzione del tasso base di veri positivi?

false-discovery-rate

— user4733
fonte

5

Penso che sia davvero una bella domanda; troppe persone usano la procedura Benjamini-Hochberg (abbreviata in BH; forse la procedura più popolare per controllare la FDR) come una scatola nera. In effetti c'è un presupposto che sottende alle statistiche ed è ben nascosto nella definizione dei valori p!

Per un valore p ben definito , sostiene che è distribuito uniformemente ( ) sotto l'ipotesi nulla. A volte potrebbe anche essere che , cioè che sia stocasticamente più piccola che uniforme, ma ciò rende solo le procedure più conservative (e quindi ancora valide). Pertanto, calcolando i tuoi valori p, usando un t-test o qualsiasi altro test a tua scelta, stai fornendo le informazioni sulla distribuzione sotto l'ipotesi nulla. $P$ $P$ $P\sim U[0,1]$ $\Pr[P\leq t] \leq t$ $P$

Ma notate qui che continuavo a parlare dell'ipotesi nulla; quindi ciò che hai detto sulla conoscenza del tasso base di veri positivi non è necessario, devi solo conoscere il tasso base di falsi positivi! Perchè è questo?

Lascia che indichi il numero di tutte le ipotesi (positive) respinte e i falsi positivi, quindi: $R$ $V$

FDR = E [\frac{V}{max (R, 1)}] \approx \frac{E [V]}{E [R]}

$\text{FDR} = \mathbb E\left[\frac{V}{\max(R,1)}\right] \approx \frac{\mathbb E[V]}{\mathbb E[R]}$

Quindi per stimare il FDR è necessario un modo per stimare , . Esamineremo ora le regole di decisione che rifiutano tutti i valori p . Per chiarire ciò nella notazione scriverò anche per le corrispondenti quantità / variabili casuali di tale procedura. $\mathbb E[R]$ $\mathbb E[V]$ $\leq t$ $FDR(t),R(t),V(t)$

Poiché è solo l'aspettativa del numero totale di rifiuti, puoi stimarlo in modo imparziale in base al numero di rifiuti che osservi, quindi , cioè semplicemente contando quanti dei tuoi valori p sono . $\mathbb E[R(t)]$ $\mathbb E[R(t)] \approx R(t)$ $\leq t$

E che dire di ? Bene supponiamo che delle tue ipotesi totali siano ipotesi nulle, quindi dall'uniformità (o sottouniformità) dei valori p sotto il null ottieni: $\mathbb E[V]$ $m_0$ $m$

E [V (t)] = \underset{io nullo}{Σ} Pr [P_{io} \leq t] \leq m_{0} t

$\mathbb E[V(t)] = \sum_{i \text{ null}} \Pr[P_i \leq t] \leq m_0 t$

Ma ancora non conosciamo , ma sappiamo che , quindi un limite superiore conservativo sarebbe semplicemente . Pertanto, poiché abbiamo solo bisogno di un limite superiore al numero di falsi positivi, è sufficiente che conosciamo la loro distribuzione! E questo è esattamente ciò che fa la procedura BH. $m_0$ $m_0 \leq m$ $\mathbb E[V(t)] \leq m t$

Quindi, mentre il commento di Aarong Zeng secondo cui "la procedura BH è un modo per controllare la FDR a un dato livello q. Non si tratta di stimare la FDR" non è falso, è anche fuorviante! La procedura BH effettivamente fa stimare la FDR per ogni data soglia . E quindi sceglie la soglia più grande, in modo tale che il FDR stimato sia inferiore a . In effetti il "valore p corretto" dell'ipotesi è essenzialmente solo una stima dell'FDR alla soglia (fino all'isotonizzazione). Penso che l'algoritmo BH standard nasconda un po 'questo fatto, ma è facile mostrare l'equivalenza di questi due approcci (chiamato anche "teorema di equivalenza" nella letteratura sui test multipli). $t$ $\alpha$ $i$ $t=p_i$

Come osservazione finale, esistono metodi come la procedura di Storey che stimano persino dai dati; questo può aumentare la potenza di un po '. Anche in linea di principio hai ragione, si potrebbe anche modellare la distribuzione in alternativa (il tuo vero tasso di base positivo) per ottenere procedure più potenti; ma finora la ricerca sui test multipli si è concentrata principalmente sul mantenimento del controllo dell'errore di tipo I piuttosto che sulla massimizzazione del potere. Una difficoltà sarebbe anche che in molti casi ognuna delle tue vere alternative avrà una diversa distribuzione alternativa (ad es. Potenza diversa per ipotesi diverse), mentre sotto il nullo tutti i valori p hanno la stessa distribuzione. Ciò rende ancora più difficile la modellizzazione del tasso positivo reale. $m_0$

— aria
fonte

3

+1 Presumibilmente "BH" si riferisce a Benjamini-Hochberg . (È sempre una buona idea precisare gli acronimi, per evitare che le persone fraintendano.) Benvenuti nel nostro sito!

— whuber

1

Grazie! Inoltre sì, hai ragione, ho modificato il mio post per riflettere quello.

— aria

4

Come suggerito da @air, la procedura Benjamini-Hochberg (BH) garantisce il controllo FDR. Non mira a stimarlo. Richiede quindi una semplice assunzione di dipendenza debole tra le statistiche dei test. [1,2]

I metodi che mirano a stimare il FDR [ad esempio 3,4,5] richiedono alcune ipotesi sul processo generativo per stimarlo. In genere presuppongono che le statistiche dei test siano indipendenti. Assumeranno anche qualcosa sulla distribuzione nulla delle statistiche di test. Gli scostamenti da questa distribuzione nulla, unitamente all'assunto di indipendenza, possono quindi essere attribuiti agli effetti e la FDR può essere stimata.

Si noti che queste idee riappaiono nella letteratura di rilevamento delle novità semi-supervisionata. [6].

[1] Benjamini, Y. e Y. Hochberg. "Controllo del falso tasso di scoperta: un approccio pratico e potente ai test multipli." SOCIETÀ STATISTICA JOURNAL-ROYAL SERIE B 57 (1995): 289-289.

[2] Benjamini, Y. e D. Yekutieli. "Il controllo del falso tasso di individuazione nei test multipli sotto dipendenza." ANNALS OF STATISTICS 29, n. 4 (2001): 1165–88.

[3] Piano, JD "Un approccio diretto ai tassi di scoperta falsi." Journal Of The Royal Statistical Society Serie B 64, n. 3 (2002): 479–98. DOI: 10.1111 / 1467-9.868,00346.

[4] Efron, B. "Microarrays, Bayes empirici e il modello a due gruppi." Scienze statistiche 23, n. 1 (2008): 1–22.

[5] Jin, Jiashun e T. Tony Cai. "Stima dello zero e della proporzione di effetti non null in confronti multipli su larga scala." Journal of American Statistical Association 102, n. 478 (1 giugno 2007): 495–506. DOI: 10,1198 / 016214507000000167.

[6] Claesen, Marc, Jesse Davis, Frank De Smet e Bart De Moor. "Valutazione dei classificatori binari utilizzando solo dati positivi e senza etichetta." arXiv: 1504.06837 [cs, Stat], 26 aprile 2015. http://arxiv.org/abs/1504.06837 .

— JohnRos
fonte

1

+1 se il mio punto principale da tale punto è che la procedura di BH in realtà fa suggerire un modo di stimare il FDR (anche se un po 'conservativo) e di fatto fa stimare che per arrivare alla soglia di rifiuto finale. La sua definizione algoritmica come procedura step-up nel riferimento [1] lo oscura, ma alla fine della giornata la stima della FDR è esattamente ciò che fa la procedura BH !! (Efron sottolinea spesso questo punto, ma vedi anche la Sezione 4. "Una connessione tra i due approcci" nel tuo riferimento [3].)

— air

2

Hai ragione che dopo [3, Eq. 2.5], si potrebbe vedere la procedura BH come usando una stima conservativa del FDR con .

p_{0} = 1

$p_0=1$

— JohnRos,

0

Quando il vero modello sottostante non è noto, non è possibile calcolare l'FDR, ma è possibile stimare il valore FDR mediante il test di permutazione . Fondamentalmente la procedura del test di permutazione sta facendo il test di ipotesi più volte modificando il vettore della variabile di risultato con le sue permutazioni. Può anche essere fatto in base alle permutazioni dei campioni, ma non così comune come il primo.

L'articolo qui esamina la procedura di permutazione standard per la stima FDR e ha anche proposto un nuovo stimatore FDR. Dovrebbe essere in grado di rispondere alla tua domanda.

— Aaron Zeng
fonte

3

La procedura più comune come BH non utilizza un test di permutazione. Che cosa usa? Inoltre, i test di permutazione di solito forniscono una distribuzione sotto il valore nullo, una stima FDR non richiede modelli di entrambi i valori null e alternativo e la relativa proporzione sottostante di ciascuno?

— user4733

q

$q$