Rimozione di fattori da una tabella ANOVA a 3 vie

14

In un recente articolo, ho montato modelli di effetti fissi a tre vie. Poiché uno dei fattori non era significativo (p> 0,1), l'ho rimosso e modificato il modello con due effetti fissi e un'interazione.

Ho appena ricevuto i commenti degli arbitri, per citare:

Quel tempo non è stato un fattore significativo nell'ANOVA a 3 vie non è di per sé un criterio sufficiente per mettere in comune il fattore tempo: il testo standard su questo tema, Underwood 1997, sostiene che il valore p per un effetto non significativo deve essere maggiore di 0,25 prima di riunire i livelli di trattamento di un fattore. Gli autori dovrebbero fornire qui il valore p rilevante e giustificare il loro raggruppamento con riferimento a Underwood 1997.

Le mie domande sono:

Non ho mai sentito parlare della regola 0.25. Qualcun altro? Posso capire di non rimuovere il fattore se il valore p era vicino al cut-off, ma avere una "regola" sembra un po 'estremo.
Questo arbitro afferma che Underwood 1997 è il testo standard. É davvero? Non ne ho mai sentito. Quale sarebbe il testo standard (esiste una cosa del genere)? Sfortunatamente, non ho accesso a questo Underwood, 1997.
Qualche consiglio quando si risponde agli arbitri.

Contesto: questo documento è stato presentato a un giornale non statistico. Durante il montaggio del modello a tre vie ho verificato gli effetti di interazione.

anova fixed-effects-model

— csgillespie
fonte

Non ho mai sentito parlare del libro di testo di Underwood, ma questo articolo sembra discutere i pro ei contro del pool: Pragmatica del pool nei tavoli ANOVA (Hines, Am. Stat. 1996). Ora, mi sembra di ricordare che Sokal & Rohlf (1995) raccomandano anche di considerare valori molto conservativi ( ); Devo controllare prima di pubblicare una risposta, a meno che non vengano fornite referenze migliori.

p \geq .25

$p\geq .25$

— chl

2

Solo un commento Una linea guida basata su puzza di un uso improprio di un valore , in quanto un valore non significativo non è una misura di non evidenza. Dato che i valori sono distribuiti uniformemente sotto l'ipotesi nulla, perché non lanciare semplicemente una moneta (di parte)? Il risultato finale è lo stesso, e almeno è onesto sull'essere drogato. (OK, dopey è un po 'forte, ma hai l'idea.)

p \geq s o m e t h i n g

$p \geq something$

p

$p$

p

$p$

p

$p$

5

Sarebbe una risposta interessante ad un arbitro: "Ringraziamo l'arbitro per i suoi commenti, ma pensiamo che siano un po 'drogati";) Buon commento però.

— csgillespie,

15

Immagino che Underwood in questione sia Experiments in Ecology (Cambridge Press 1991). È un riferimento più o meno standard nelle scienze ecologiche, forse terzo dietro a Zar e Sohkol e Rohlf (e secondo me il più 'leggibile' dei tre)

Se riesci a trovarne una copia, la sezione pertinente citata dal tuo arbitro è in 9.7 a p.273. Underwood suggerisce una procedura di pooling consigliata (quindi non una "regola" di per sé ) per fattori non significativi. È una procedura in 2 passaggi che sinceramente non capisco bene, ma il risultato è che p = 0,25 viene suggerito per ridurre la probabilità di errore di tipo I quando si raggruppano i fattori non significativi (quindi nulla a che fare con "tempo" in il tuo esempio, potrebbe essere qualsiasi fattore non-sig).

In realtà la procedura non sembra essere quella di Underwood, egli stesso cita Winer et al 1991 ( Statistical Procedures in Experimental Design McGraw-Hill). Potresti provare lì se non riesci a trovare una copia di Underwood.

— Chris
fonte

4

+1 Bella risposta: chiara, precisa, perspicace e autorevole.

— whuber

@Chris, intendi "ridurre la probabilità di errore di tipo II" (non di tipo I) sopra? La motivazione per non rimuovere i fattori dal modello è quella di prevenire studi a bassa potenza che consentano la rimozione di cause autentiche (vale a dire, il Tipo II di conclusione della variabile non ha alcun effetto), gonfiando anche l'effetto apparente dei parametri lasciati nel modello se sono correlati con la variabile ora rimossa. Poiché l'effetto collaterale genererà errori di tipo I, forse Underwood sta suggerendo di lasciare effetti per controllare sia gli errori di tipo 1 che quelli di tipo II, ovvero massimizzare la validità del modello?

— tim

10

Detesto questo tipo di regole basate sul taglio. Penso che dipenda dal design e dalle tue ipotesi e aspettative a priori . Se ti aspetti che il risultato vari nel tempo, direi che dovresti tenere il tempo, come faresti per qualsiasi altro fattore di "blocco". D'altra parte, se stavi replicando gli stessi esperimenti in momenti diversi e non avessi motivo di pensare che il risultato potesse variare con il tempo, ma desideravi verificare che ciò fosse il caso, dopo averlo fatto e aver trovato poche o nessuna prova che variava con tempo, direi che è del tutto ragionevole quindi perdere tempo.

Non ho mai sentito parlare di Underwood prima. Potrebbe essere un testo standard per "Experiments in Ecology" (il titolo del libro), ma non vi è alcuna ragione ovvia che gli esperimenti in ecologia debbano essere trattati in modo diverso rispetto a qualsiasi altro esperimento in questo senso, quindi per vederlo come " il testo standard su questo problema "sembra ingiustificato.

— una fermata
fonte

1

Prima dell'esperimento, si riteneva che il fattore fosse significativo. Tuttavia, è stato sommerso dagli altri due effetti. Ho rimosso il fattore perché tenerlo dentro non ha cambiato le conclusioni e ha solo reso più difficile la spiegazione.

— csgillespie,

2

Hmm, in quel caso penso che lo terrei dentro. Non riesco a capire perché renda la spiegazione più difficile, e come hai scoperto potrebbe essere più difficile spiegare perché l'hai lasciata cadere piuttosto che perché l'hai tenuta dentro!

— onestop,

Prendo il tuo punto, anche se non sono d'accordo al 100%. Potrei facilmente vedere un altro arbitro suggerire che dovresti rimuovere il fattore (questo è quello che i bio-statistici raccomandano di aver parlato anche io). Come hai detto, quando si tratta di un'area grigia una regola arbitraria non è la strada da percorrere. Se volessimo fuorviare, non menzioneremmo mai che l'altro fattore è mai stato coinvolto! Completamente immorale, ma sospetto che accada.

— csgillespie,

1

leggi il testo di Underwood e i relativi riferimenti, non è una regola, leggi. In realtà questo approccio è di controllare l'errore di tipo II quando si rimuove (o si raggruppa) un termine "non significativo" nel modello. Che cosa succede se il termine rimosso ha un livello di significatività di 0,06? Sei davvero sicuro che gli Stati membri previsti non includano un effetto aggiuntivo dovuto al fattore ?. Se rimuovi questo termine, stai assumendo che la SM prevista non includa l'effetto aggiunto dovuto a quel trattamento MA DEVI ESSERE in qualche modo protetto dall'errore di tipo II !. per favore scusa il mio inglese povero e veloce !.

— AnastD
fonte