Bonferroni o Tukey? Quando aumenta il numero di confronti?

Reading Field's Discovering Statistics Using SPSS (3rd Edition) Sono rimasto un po 'colpito dai test post-hoc in ANOVA. Per coloro che desiderano controllare il tasso di errore di tipo I, suggerisce Bonferroni o Tukey e dice (p. 374):

Bonferroni ha più potere quando il numero di confronti è piccolo, mentre Tukey è più potente quando si prova un gran numero di mezzi.

Dove dovrebbe essere tracciata la linea tra un numero piccolo e grande di mezzi?

— Parbury
fonte

Nella parte inferiore della seguente pagina Web di NIST / Sematech, si consiglia di preformare entrambi i test e di ridurre il più piccolo dei due intervalli. Ho trovato commenti simili in Johnson e Wichern su MANOVA.

— schenectady,

@schenectady Buona risposta! Perché non lo incolli in una risposta? A proposito, il link è danneggiato nel tuo commento; quello corretto è itl.nist.gov/div898/handbook/prc/section4/prc473.htm .

— whuber

Primo breve punto: il potere è direttamente correlato al tasso di errore di tipo II, non al tipo I. Ora perdonami ma ho intenzione di esprimere alcune opinioni. Quello che stai facendo potrebbe essere visto come "giocare al sistema", cercando di truccarlo in modo che più risultati vengano classificati come sig. o nonsig.? Questi giudizi binari sono molto meno informativi e potenzialmente molto più fuorvianti rispetto ai rapporti sulle dimensioni effettive dell'effetto - nel tuo caso, per quanto riguarda le differenze di gruppo nelle medie. Mi piace vedere le persone usare i valori p per guarnire i risultati anziché strutturarli. Fine dell'editoriale - discuti!

— rolando2,

"Nella parte inferiore della seguente pagina Web di NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm , si raccomanda di preformare entrambi i test e di ridurre il più piccolo dei due intervalli Ho trovato commenti simili in Johnson e Wichern su MANOVA. - @schenectady 11 aprile 11 alle 12:31 "Questo è considerato data mining e non dovrebbe essere fatto. La scelta di tukey vs. Bonferroni dovrebbe essere fatta prima dell'analisi.

La documentazione online di Minitab sembra offrire consigli simili support.minitab.com/en-us/minitab/17/topic-library/…

— N Brouwer

Oltre al link utile menzionato nei commenti di @schenectady.

Vorrei anche aggiungere che la correzione di Bonferroni si applica a una più ampia classe di problemi. Per quanto ne so, l'HSD di Tukey è applicato solo a situazioni in cui si desidera esaminare tutti i possibili confronti a coppie, mentre la correzione di Bonferroni può essere applicata a qualsiasi serie di test di ipotesi.

In particolare, la correzione Bonferroni è utile quando si dispone di un piccolo set di confronti pianificati e si desidera controllare il tasso di errore di tipo I a livello familiare. Ciò consente anche confronti composti. Ad esempio, si dispone di un ANOVA a 6 vie e si desidera confrontare la media dei gruppi 1, 2 e 3 con il gruppo 4 e si desidera confrontare il gruppo 5 con 6.

Per illustrare ulteriormente, è possibile applicare la correzione di Bonferroni per valutare la significatività delle correlazioni in una matrice di correlazione o l'insieme degli effetti principali e di interazione in un ANOVA. Tuttavia, tale correzione non viene in genere applicata, presumibilmente per il motivo che la riduzione del tasso di errore di tipo I comporta una inaccettabile riduzione di potenza.

— Jeromy Anglim
fonte

sono solo curioso di sapere se hai delle citazioni per: "Tuttavia, una tale correzione non viene generalmente applicata, presumibilmente per il motivo che la riduzione del tasso di errore di tipo I si traduce in una inaccettabile riduzione di potenza". Grazie mille!

Benvenuti nel sito. Questo dovrebbe essere pubblicato come un commento, non una risposta.

— Peter Flom - Ripristina Monica

@Jessica. No, non ho una citazione per tale affermazione. Ma è abbastanza facile mostrare attraverso la simulazione, le formule o anche solo una conoscenza di base dei fattori che influenzano il potere statistico (cioè, tali fattori includono l'alfa).

— Jeromy Anglim,