Poiché i test di confronto multipli sono spesso chiamati "post test", si potrebbe pensare che seguano logicamente l'ANOVA a senso unico. In realtà, non è così.
" Una sfortunata pratica comune è quella di perseguire confronti multipli solo quando l'ipotesi di omogeneità dello scafo viene respinta. " ( Hsu, pagina 177 )
I risultati dei post test saranno validi se il valore P complessivo per ANOVA è maggiore di 0,05?
Sorprendentemente, la risposta è sì. Con un'eccezione, i post test sono validi anche se l'ANOVA generale non ha trovato una differenza significativa tra i mezzi.
L'eccezione è il primo test di confronto multiplo inventato, il test Fisherd Significant Difference (LSD) protetto. Il primo passo del test LSD protetto è verificare se l'ANOVA globale rifiuta l'ipotesi nulla di mezzi identici. In caso contrario, non è necessario effettuare confronti individuali. Ma questo test LSD protetto è obsoleto e non è più raccomandato.
È possibile ottenere un risultato "significativo" da un test comparativo multiplo anche quando l'ANOVA globale non era significativo?
Sì, è possibile. L'eccezione è il test di Scheffe. Si intreccia con il test generale F. Se l'ANOVA complessivo ha un valore P maggiore di 0,05, il test di Scheffe non troverà alcun post test significativo. In questo caso, l'esecuzione di post test a seguito di un ANOVA complessivamente non significativo è una perdita di tempo ma non porterà a conclusioni non valide. Ma altri test di confronto multipli possono trovare differenze significative (a volte) anche quando l'ANOVA generale non ha mostrato differenze significative tra i gruppi.
Come posso capire l'apparente contraddizione tra un ANOVA che afferma, in effetti, che tutti i mezzi di gruppo sono identici e che un test post trova differenze?
L'ANOVA a senso unico complessivo verifica l'ipotesi nulla che tutti i gruppi di trattamento abbiano valori medi identici, quindi qualsiasi differenza che ti è capitato di osservare è dovuta al campionamento casuale. Ogni post test verifica l'ipotesi nulla che due gruppi particolari abbiano mezzi identici.
I post test sono più mirati, quindi hanno il potere di trovare differenze tra i gruppi anche quando l'ANOVA generale segnala che le differenze tra i mezzi non sono statisticamente significative.
I risultati dell'intera ANOVA sono utili?
ANOVA verifica l'ipotesi nulla complessiva che tutti i dati provengano da gruppi con mezzi identici. Se questa è la tua domanda sperimentale - i dati forniscono prove convincenti che i mezzi non sono tutti identici - allora ANOVA è esattamente quello che vuoi. Più spesso, le tue domande sperimentali sono più focalizzate e rispondono a più test di confronto (post test). In questi casi, puoi tranquillamente ignorare i risultati generali ANOVA e passare direttamente ai risultati post test.
Si noti che i calcoli del confronto multiplo utilizzano tutti il risultato del quadrato medio della tabella ANOVA. Quindi, anche se non ti interessa il valore di F o P, i post test richiedono comunque che la tabella ANOVA venga calcolata.