Cosa c'è che non va nelle regolazioni di Bonferroni?

Ho letto il seguente documento: Perneger (1998) Cosa c'è che non va nelle regolazioni di Bonferroni .

L'autore ha riassunto affermando che l'aggiustamento di Bonferroni ha, nella migliore delle ipotesi, applicazioni limitate nella ricerca biomedica e non dovrebbe essere usato quando si valutano prove su ipotesi specifiche:

Punti di riepilogo:

• La regolazione della significatività statistica per il numero di test eseguiti sui dati di studio - il metodo Bonferroni - crea più problemi di quanti ne risolva
• Il metodo Bonferroni riguarda l'ipotesi nulla generale (che tutte le ipotesi null sono vere simultaneamente), che raramente è di interesse o di utilità per i ricercatori
• Il principale punto debole è che l'interpretazione di un risultato dipende dal numero di altri test eseguiti
• Anche la probabilità di errori di tipo II è aumentata, in modo che differenze veramente importanti siano ritenute non significative
• Descrivere semplicemente quali test di significatività sono stati eseguiti e perché, in genere, è il modo migliore per affrontare confronti multipli

Ho il seguente set di dati e desidero effettuare la correzione multipla dei test MA in questo caso non riesco a decidere il metodo migliore.

Voglio sapere se è indispensabile eseguire questo tipo di correzione per tutti i set di dati che contengono elenchi di mezzi e qual è il metodo migliore per la correzione in questo caso?

Ciò che è sbagliato nella correzione di Bonferroni oltre al conservatorismo menzionato da altri è ciò che è sbagliato in tutte le correzioni di molteplicità. Non seguono i principi statistici di base e sono arbitrari; non esiste una soluzione unica al problema della molteplicità nel mondo frequentista. In secondo luogo, gli aggiustamenti della molteplicità si basano sulla filosofia di base secondo cui la veridicità di un'affermazione dipende da quali altre ipotesi sono accettate. Ciò equivale a una configurazione bayesiana in cui la distribuzione precedente per un parametro di interesse continua a diventare più conservativa quando vengono considerati altri parametri. Questo non sembra essere coerente. Si potrebbe dire che questo approccio viene dai ricercatori che sono stati "bruciati" da una storia di esperimenti falsi positivi e che ora vogliono rimediare ai loro misfatti.

Per espandere un po ', considerare la seguente situazione. Un ricercatore di oncologia ha fatto una carriera studiando l'efficacia delle chemioterapie di una certa classe. Tutti i 20 precedenti dei suoi studi randomizzati hanno portato a un'efficacia statisticamente insignificante. Ora sta testando una nuova chemioterapia nella stessa classe. Il beneficio di sopravvivenza è significativo con $P=0.04$. Un collega sottolinea che è stato studiato un secondo endpoint (riduzione del tumore) e che è necessario applicare un aggiustamento della molteplicità al risultato di sopravvivenza, ottenendo un beneficio di sopravvivenza insignificante. Com'è possibile che il collega abbia enfatizzato il secondo endpoint ma non gliene potrebbe fregare di meno di adattarsi ai 20 precedenti tentativi falliti di trovare un farmaco efficace? E come prenderesti in considerazione le conoscenze precedenti sui 20 studi precedenti se non fossi Bayesiano? E se non ci fosse stato un secondo endpoint. Il collega avrebbe creduto che fosse stato dimostrato un beneficio in termini di sopravvivenza, ignorando tutte le conoscenze precedenti?

Ha riassunto dicendo che l'aggiustamento di Bonferroni ha, nella migliore delle ipotesi, applicazioni limitate nella ricerca biomedica e non dovrebbe essere usato quando si valutano prove su ipotesi specifiche.

La correzione Bonferroni è una delle tecniche di confronto multiplo più semplice e più conservativa. È anche uno dei più antichi ed è stato migliorato notevolmente nel tempo. È corretto affermare che gli aggiustamenti Bonferroni hanno un'applicazione limitata in quasi tutte le situazioni. C'è quasi sicuramente un approccio migliore. Vale a dire, dovrai correggere più confronti ma puoi scegliere un metodo meno conservativo e più potente.

Meno conservatore

Metodi di confronto multipli proteggono dall'ottenere almeno un falso positivo in una famiglia di test. Se esegui un test a livello , stai concedendo una probabilità del 5% di ottenere un falso positivo. In altre parole, rifiuti erroneamente la tua ipotesi nulla. Se esegui 10 test al livello α = 0,05 , questo aumenta a 1 - ( 1 - 0,05 ) 10 = ~ 40% di probabilità di ottenere un falso positivo$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

Con il metodo Bonferroni usi un all'estremità più bassa della scala (cioè α b = α / n ) per proteggere la tua famiglia di n test a livello α . In altre parole, è il più conservatore. Ora puoi aumentare α b al di sopra del limite inferiore impostato da Bonferroni (ovvero rendere il tuo test meno conservativo) e comunque proteggere la tua famiglia di test a livello α . Esistono molti modi per farlo, ad esempio il metodo Holm-Bonferroni o, meglio ancora, False Discovery Rate$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

Più potente

Un buon punto sollevato nel documento a cui si fa riferimento è che aumenta anche la probabilità di errori di tipo II, in modo che differenze veramente importanti siano ritenute non significative.

Questo è molto importante. Un test potente è quello che trova risultati significativi se esistono. Usando la correzione Bonferroni si ottiene un test meno potente. Dato che Bonferroni è conservatore, è probabile che il potere venga notevolmente ridotto. Ancora una volta, uno dei metodi alternativi, ad esempio False Discovery Rate, aumenterà la potenza del test. In altre parole, non solo proteggi dai falsi positivi, ma migliora anche la tua capacità di trovare risultati veramente significativi.

Quindi sì, dovresti applicare alcune tecniche di correzione quando hai confronti multipli. E sì, Bonferroni dovrebbe probabilmente essere evitato a favore di un metodo meno conservatore e più potente

Thomas Perneger non è uno statistico e il suo documento è pieno di errori. Quindi non lo prenderei troppo sul serio. In realtà è stato pesantemente criticato da altri. Ad esempio, Aickin ha affermato che il documento di Perneger "consiste quasi interamente di errori": Aickin, "Esiste un altro metodo per la regolazione di test multipli", BMJ. 9 gennaio 1999; 318 (7176): 127.

Inoltre, nessuno dei valori p nella domanda originale è comunque <.05, anche senza aggiustamento della molteplicità. Quindi probabilmente non importa quale regolazione (se presente) viene utilizzata.

Forse è bene spiegare il "ragionamento alla base" di molteplici correzioni di test come quella di Bonferroni. Se questo è chiaro, sarai in grado di giudicare te stesso se dovresti applicarli o meno.

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

La falsa prova è una brutta cosa nella scienza perché crediamo di aver acquisito una vera conoscenza del mondo, ma in effetti potremmo aver avuto sfortuna con il campione. Questo tipo di errori dovrebbe pertanto essere controllato. Pertanto si dovrebbe porre un limite massimo alla probabilità di questo tipo di prove, oppure si dovrebbe controllare l'errore di tipo I. Questo viene fatto fissando in anticipo un livello di significatività accettabile.

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

Il fatto importante qui è che i due test si basano su uno e sul campione!

Si noti che abbiamo assunto l'indipendenza. Se non puoi assumere l'indipendenza, allora puoi mostrare, usando la disuguaglianza di Bonferroni $ che l'errore di tipo I può gonfiare fino a 0,1.

Si noti che Bonferroni è conservativo e che la procedura graduale di Holm ha le stesse ipotesi di Bonferroni, ma la procedura di Holm ha più potere.

Quando le variabili sono discrete, è meglio utilizzare le statistiche dei test basate sul valore p minimo e se si è pronti ad abbandonare il controllo degli errori di tipo I quando si esegue un numero enorme di test, le procedure di False Discovery Rate potrebbero essere più potenti.

MODIFICARE :

Se ad esempio (vedere l'esempio nella risposta di @Frank Harrell)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

Una bella discussione sulla correzione di Bonferroni e sulla dimensione dell'effetto http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html Inoltre, vale la pena considerare la correzione di Dunn-Sidak e l'approccio delle probabilità combinate di Fisher come alternative. Indipendentemente dall'approccio, vale la pena riportare sia i valori p rettificati che grezzi più la dimensione dell'effetto, in modo che il lettore possa avere la libertà di interpretarli.

Per uno, è estremamente conservatore. Il metodo Holm-Bonferroni realizza ciò che il metodo Bonferonni realizza (controllando il saggio tasso di errore familiare) pur essendo uniformemente più potente.

Bisognerebbe considerare i metodi "False Discovery Rate" come alternativa meno conservatrice a Bonferroni. Vedere

John D. Storey, "IL POSITIVO FALSO TASSO DI SCOPERTA: UN'INTERPRETAZIONE BAYESIANA E IL q-VALUE", The Annals of Statistics 2003, vol. 31, n. 6, 2013-2035.