L'LSD di Fisher è così grave come si dice?

Quando eseguiamo esperimenti (su campioni di piccole dimensioni (di solito la dimensione del campione per gruppo di trattamento è di circa 7 ~ 8)) su due gruppi, utilizziamo un test t per verificare la differenza. Tuttavia, quando eseguiamo un ANOVA (ovviamente per più di due gruppi), usiamo qualcosa sulla falsariga di Bonferroni (LSD / # di confronti a coppie) o di Tukey come post hoc, e come studente, sono stato avvisato di utilizzando la differenza meno significativa di Fisher (LSD).

Il fatto è che l'LSD è simile al t-test a coppie (ho ragione?), E quindi l'unica cosa che non tiene conto è che stiamo facendo confronti multipli. Quanto è importante quando si tratta con diciamo 6 gruppi, se ANOVA è di per sé significativo?

O in altre parole, c'è qualche motivo scientifico / statistico per usare un LSD di Fisher?

L'LSD di Fisher è in effetti una serie di test t a coppie, con ogni test che utilizza l'errore quadratico medio del significativo ANOVA come stima della varianza aggregata (e prendendo naturalmente i gradi di libertà associati). Il fatto che l'ANOVA sia significativo è un ulteriore vincolo di questo test.

Limita il tasso di errore familiare alfa solo nel caso speciale di 3 gruppi. Howell ha una spiegazione molto buona e relativamente semplice di come lo fa nel capitolo 16 del suo libro Fundamental Statistics for the Behavioral Sciences, ottava edizione, David C. Howell .

Sopra 3 gruppi l'alfa si gonfia rapidamente (come notato sopra da @Alexis). Non è certamente appropriato per 6 gruppi. Credo che sia questa limitata applicabilità a indurre la maggior parte delle persone a suggerire di ignorarla come opzione.

Quanto sono importanti i confronti multipli quando si ha a che fare con 6 gruppi? Bene ... con sei gruppi hai a che fare con un massimo di possibili confronti post hoc a coppie. Lascerò che l'inestimabile Randall Munroe affronti l'importanza di confronti multipli:$\frac{6(6-1)}{2} = 15$

E aggiungerò che se, come nella frase iniziale, suggerisci che a volte hai sette gruppi, il numero massimo di test a coppie post hoc è , che è di gran lunga troppo simile allo scenario Jellybean appena presentato (che presenta anche 21 prove;). Quindi, davvero, a meno che tu non voglia deridere il mondo mandandoti ripetutamente copie di xkcd 882 , vorrei solo andare avanti ed eseguire più aggiustamenti di confronto (o FWER, come Bonferroni o Holm-Sidak , o FDR come Benjamini e Hochberg ) .$\frac{7(7-1)}{2} = 21$

Il test di Fisher è negativo come tutti dicono che sia dal punto di vista di Neyman-Pearson e se fai quello che la tua domanda implica --- dopo un significativo test ANOVA ogni singola differenza. Puoi vederlo in molti articoli pubblicati . Ma testare tutte le differenze dopo un ANOVA, o una qualsiasi di esse, non è né necessario né raccomandato. E il test di Fisher non è stato realizzato secondo una teoria dell'inferenza statistica di Neyman-Pearson.

È importante tenere presente che, quando Fisher ha proposto l'LSD, in realtà non ha considerato i test multipli un problema importante perché non ha considerato il taglio di significato una regola dura e veloce per decidere se i risultati fossero importanti o meno. Si potrebbe costruire un LSD come un modo semplice per esaminare i dati per cui potrebbero esserci risultati significativi ma non l'arbitro di ciò che era significativo. Ricorda, è stato Fisher a dire che dovresti eseguire più argomenti se p > 0,05.

E perché pensi che testare tutto sia una buona idea? Considera perché esegui un ANOVA in primo luogo. Probabilmente ti è stato insegnato che è perché eseguire più t-test è problematico, poiché sei intimo nella tua domanda. Allora perché li stai eseguendo, o il loro equivalente in seguito? So che succede, ma non ho ancora avuto bisogno di eseguire un test dopo un ANOVA. Un ANOVA ti dice che il tuo modello di dati non è un insieme di valori uguali, che potrebbe esserci qualche significato in esso. Molte persone restano bloccate dalla cautela che il test non ti dice dove sono i bit significativi ma dimenticano che i dati e le teorie te lo dicono.

Il ragionamento alla base dell'LSD di Fisher può essere esteso a casi oltre N = 3.

Discuterò il caso di quattro gruppi in dettaglio. Per mantenere il tasso di errore di tipo I a livello familiare a 0,05 o inferiore, è sufficiente un fattore di correzione del confronto multiplo di 3 (ovvero un alfa per confronto di 0,05 / 3), sebbene vi siano sei confronti post-hoc tra i quattro gruppi. Questo è perché:

• nel caso in cui tutti e quattro i mezzi veri siano uguali, l'omnibus Anova sui quattro gruppi limita il tasso di errore familiare a 0,05;
• nel caso in cui tre dei mezzi veri siano uguali e il quarto differisca da loro, ci sono solo tre confronti che potrebbero potenzialmente produrre un errore di tipo I;
• nel caso in cui due dei mezzi veri siano uguali e differiscano dagli altri due, che sono uguali tra loro, ci sono solo due confronti che potrebbero potenzialmente produrre un errore di tipo I.

Questo esaurisce le possibilità. In tutti i casi, la probabilità di trovare uno o più valori p inferiori a 0,05 per gruppi i cui valori reali sono uguali, rimane pari o inferiore a 0,05 se il fattore di correzione per confronti multipli è 3, e questa è la definizione del tasso di errore familiare.

Questo ragionamento per quattro gruppi è una generalizzazione della spiegazione di Fisher per il suo metodo della differenza minima significativa a tre gruppi. Per i gruppi N , il fattore di correzione, se il test Anova omnibus è significativo, è ( N -1) ( N -2) / 2. Quindi la correzione di Bonferroni, di un fattore N ( N -1) / 2, è troppo forte. È sufficiente utilizzare un fattore di correzione alfa di 1 per N = 3 (ecco perché l'LSD di Fisher funziona per N = 3), un fattore 3 per N = 4, un fattore 6 per N = 5, un fattore 10 per N = 6 e così via.