Abbiamo bisogno di un test globale prima dei test post hoc?

Ho spesso sentito che i test post hoc dopo un ANOVA possono essere utilizzati solo se l'ANOVA stesso era significativo.

• Tuttavia, i test post hoc regolano i valori per mantenere il tasso di errore globale di tipo I al 5%, vero?$p$
• Quindi perché abbiamo bisogno prima del test globale?

• Se non abbiamo bisogno di un test globale, la terminologia "post hoc" è corretta?

• O ci sono più tipi di test post hoc, alcuni assumono un risultato di test globale significativo e altri senza tale presupposto?

Poiché i test di confronto multipli sono spesso chiamati "post test", si potrebbe pensare che seguano logicamente l'ANOVA a senso unico. In realtà, non è così.

" Una sfortunata pratica comune è quella di perseguire confronti multipli solo quando l'ipotesi di omogeneità dello scafo viene respinta. " ( Hsu, pagina 177 )

I risultati dei post test saranno validi se il valore P complessivo per ANOVA è maggiore di 0,05?

Sorprendentemente, la risposta è sì. Con un'eccezione, i post test sono validi anche se l'ANOVA generale non ha trovato una differenza significativa tra i mezzi.

L'eccezione è il primo test di confronto multiplo inventato, il test Fisherd Significant Difference (LSD) protetto. Il primo passo del test LSD protetto è verificare se l'ANOVA globale rifiuta l'ipotesi nulla di mezzi identici. In caso contrario, non è necessario effettuare confronti individuali. Ma questo test LSD protetto è obsoleto e non è più raccomandato.

È possibile ottenere un risultato "significativo" da un test comparativo multiplo anche quando l'ANOVA globale non era significativo?

Sì, è possibile. L'eccezione è il test di Scheffe. Si intreccia con il test generale F. Se l'ANOVA complessivo ha un valore P maggiore di 0,05, il test di Scheffe non troverà alcun post test significativo. In questo caso, l'esecuzione di post test a seguito di un ANOVA complessivamente non significativo è una perdita di tempo ma non porterà a conclusioni non valide. Ma altri test di confronto multipli possono trovare differenze significative (a volte) anche quando l'ANOVA generale non ha mostrato differenze significative tra i gruppi.

Come posso capire l'apparente contraddizione tra un ANOVA che afferma, in effetti, che tutti i mezzi di gruppo sono identici e che un test post trova differenze?

L'ANOVA a senso unico complessivo verifica l'ipotesi nulla che tutti i gruppi di trattamento abbiano valori medi identici, quindi qualsiasi differenza che ti è capitato di osservare è dovuta al campionamento casuale. Ogni post test verifica l'ipotesi nulla che due gruppi particolari abbiano mezzi identici.

I post test sono più mirati, quindi hanno il potere di trovare differenze tra i gruppi anche quando l'ANOVA generale segnala che le differenze tra i mezzi non sono statisticamente significative.

I risultati dell'intera ANOVA sono utili?

ANOVA verifica l'ipotesi nulla complessiva che tutti i dati provengano da gruppi con mezzi identici. Se questa è la tua domanda sperimentale - i dati forniscono prove convincenti che i mezzi non sono tutti identici - allora ANOVA è esattamente quello che vuoi. Più spesso, le tue domande sperimentali sono più focalizzate e rispondono a più test di confronto (post test). In questi casi, puoi tranquillamente ignorare i risultati generali ANOVA e passare direttamente ai risultati post test.

Si noti che i calcoli del confronto multiplo utilizzano tutti il ​​risultato del quadrato medio della tabella ANOVA. Quindi, anche se non ti interessa il valore di F o P, i post test richiedono comunque che la tabella ANOVA venga calcolata.

(1) I test post hoc potrebbero o meno raggiungere il tasso di errore nominale globale di tipo I, a seconda di (a) se l'analista si sta adeguando per il numero di test e (b) in che misura i test post-hoc sono indipendenti da uno un altro. Applicare prima un test globale è una protezione piuttosto solida contro il rischio di (anche inavvertitamente) scoprire risultati "significativi" spuri dallo snooping dei dati post-hoc .

(2) C'è un problema di potenza. È noto che un test ANOVA F globale può rilevare una differenza di mezzi anche nei casi in cui nessun test t individuale di una qualsiasi delle coppie di mezzi produrrà un risultato significativo. In altre parole, in alcuni casi i dati possono rivelare che i veri mezzi probabilmente differiscono ma non possono identificare con sufficiente sicurezza quali coppie di mezzi differiscono.