Benjamini e Hochberg definiscono il tasso di falsa scoperta nello stesso modo in cui lo faccio io, come la frazione di test positivi che sono falsi positivi. Quindi se usi la loro procedura per confronti multipli controlli FDR correttamente. Vale la pena notare, tuttavia, che ci sono molte varianti sul metodo BH. I seminari di Benjamini a Berkeley sono su Youtube e vale la pena guardare:
Non sono sicuro del motivo per cui @amoeba dice "Questo è formulato troppo fortemente e può effettivamente essere fuorviante". Sarei interessato a sapere perché lo pensa. L'argomento più convincente viene dai test t simulati (sezione 6). Ciò imita ciò che quasi tutti fanno in pratica e mostra che se osservi P vicino a 0,047 e affermi di aver fatto una scoperta, ti sbaglierai almeno il 26% delle volte. Cosa può andare storto?
Certo, non dovrei descriverlo come minimo. È quello che ottieni se pensi che ci sia una probabilità del 50% che ci sia un effetto reale. Naturalmente se supponi che la maggior parte delle tue ipotesi siano corrette in anticipo, puoi ottenere un FDR inferiore al 26%, ma puoi immaginare l'ilarità che saluterebbe un'affermazione secondo cui avresti fatto una scoperta sulla base dell'assunto che eri sicuro al 90% in anticipo che la tua conclusione sarebbe stata vera. Il 26% è il FDR minimo dato che non è una base ragionevole per dedurre l'assunzione di una probabilità precedente maggiore di 0,5.
Dato che le intuizioni spesso non reggono quando testate, potrebbe benissimo esserci solo il 10% di possibilità che una particolare ipotesi sia vera, e in quel caso la FDR sarebbe un disastroso 76%.
È vero che tutto ciò dipende dall'ipotesi nulla in quanto esiste una differenza zero (il cosiddetto punto null). Altre scelte possono dare risultati diversi. Ma il punto null è ciò che quasi tutti usano nella vita reale (anche se potrebbe non esserne consapevole). Inoltre il punto null mi sembra essere una cosa del tutto appropriata da usare. Talvolta viene obiettato che le vere differenze non sono mai esattamente zero. Non sono d'accordo. Vogliamo dire se i nostri risultati non sono distinguibili dal caso in cui ad entrambi i gruppi vengono dati trattamenti identici, quindi la vera differenza è esattamente zero. Se decidiamo che i dati non sono compatibili con quella vista, andiamo avanti per stimare la dimensione dell'effetto. e a quel punto giudichiamo separatamente se l'effetto, sebbene reale, sia abbastanza grande da essere importante nella pratica.Blog di Deborah Mayo .
@amoeba Grazie per la tua risposta.
Ciò che la discussione sul blog di Mayo mostra è che Mayo non è d'accordo con me, anche se non ha chiarito il perché, almeno per me). Stephen Senn sottolinea correttamente che è possibile ottenere una risposta diversa se si postula una diversa distribuzione precedente. Mi sembra interessante solo per i bayesiani soggettivi.
È certamente irrilevante per la pratica quotidiana che assume sempre un punto nullo. E come ho spiegato, questa mi sembra una cosa perfettamente sensata da fare.
Molti statistici professionisti sono giunti a conclusioni molto simili alle mie. Prova Sellke & Berger e Valen Johnson (riferimenti nel mio documento). Non c'è nulla di molto controverso (o molto originale) nelle mie affermazioni.
L'altro punto, sull'assumere un precedente di 0,5, non mi sembra affatto un'ipotesi. Come ho spiegato sopra, qualsiasi cosa sopra 0,5 sarebbe in pratica inaccettabile. E qualsiasi cosa inferiore a 0,5 rende il tasso di scoperta falso ancora più alto (ad esempio 76% se precedente è 0,1). Pertanto è perfettamente ragionevole affermare che il 26% è il tasso minimo di falsa scoperta che ci si può aspettare se si osserva P = 0,047 in un singolo esperimento.
Ho pensato di più a questa domanda. La mia definizione di FDR è la stessa di Benjamini, la frazione di test positivi falsi. Ma viene applicato a un problema abbastanza diverso, l'interpretazione di un singolo test. Con il senno di poi sarebbe stato meglio se avessi scelto un termine diverso.
Nel caso di un singolo test, B&H lascia invariato il valore P, quindi non dice nulla sulla falsa percentuale di scoperta, nel senso che uso il termine.
es ovviamente hai ragione. Benjamini & Hochberg e altre persone che lavorano su confronti multipli mirano solo a correggere il tasso di errore di tipo 1. Quindi finiscono con un valore P "corretto". È soggetto agli stessi problemi di qualsiasi altro valore P. Nel mio ultimo articolo, ho cambiato il nome da FDR a False Positive Risk (FPR) nel tentativo di evitare questo malinteso.
Abbiamo anche scritto un'app Web per eseguire alcuni dei calcoli (dopo aver notato che poche persone scaricano gli script R che forniamo). È su https://davidcolquhoun.shinyapps.io/3-calcs-final/ Tutte le opinioni su ita sono benvenute (leggi prima la scheda Note).
PS Il calcolatore web ora ha un nuovo (permanente, spero) su http://fpr-calc.ucl.ac.uk/
Shiny.io è facile da usare, ma molto costoso se qualcuno effettivamente utilizza l'app :-(
Sono tornato a questa discussione, ora che il mio secondo articolo sull'argomento sta per apparire nella Royal Society Open Science. È su https://www.biorxiv.org/content/early/2017/08/07/144337
Mi rendo conto che l'errore più grande che ho commesso nel primo documento è stato l'uso del termine "tasso di scoperta falsa (FDR)". Nel nuovo documento ho reso più esplicito che non sto dicendo nulla sul problema dei confronti multipli. Mi occupo solo della domanda su come interpretare il valore P osservato in un singolo test imparziale.
Nell'ultima versione, mi riferisco alla probabilità che il risultato sia il rischio falso positivo (FPR) piuttosto che FDR, nella speranza di ridurre la confusione. Sostengo anche l'approccio Bayesiano inverso, precisando la probabilità precedente che sarebbe necessaria per garantire un FPR del 5%. Se osservi P = 0,05, questo arriva a 0,87. In altre parole, dovresti essere quasi (87%) sicuro che ci sia stato un effetto reale prima di fare l'esperimento per ottenere un FPR del 5% (che è ciò che la maggior parte delle persone crede ancora, erroneamente, p = 0,05 significa).