Come giustificare il termine di errore in ANOVA fattoriale?

Una domanda probabilmente molto basilare sull'ANOVA multifattoriale. Supponiamo un design a due vie in cui testiamo sia gli effetti principali A, B, sia l'interazione A: B. Quando si verifica l'effetto principale per A con SS di tipo I, l'effetto SS viene calcolato come differenza $RSS(1) - RSS(A)$ , dove $RSS(1)$ è la somma dell'errore residuo di quadrati per il modello con solo l'intercettazione e l'RSS per il modello con il fattore A aggiunto. La mia domanda riguarda la scelta del termine di errore:$RSS(A)$

Come si giustifica che il termine di errore per questo test sia in genere calcolato dall'RSS del modello completo A + B + A: B che include sia gli effetti principali sia l'interazione?

... al contrario di prendere il termine di errore dal modello senza restrizioni dal confronto effettivo (RSS dal solo effetto principale A nel caso sopra):

Ciò fa la differenza, poiché il termine di errore del modello completo è spesso (non sempre) più piccolo del termine di errore del modello senza restrizioni nel confronto. Sembra che la scelta del termine di errore sia in qualche modo arbitraria, creando spazio per le desiderate variazioni del valore p semplicemente aggiungendo / rimuovendo fattori che non sono realmente interessanti, ma cambiano comunque il termine di errore.

Nel seguente esempio, il valore F per A cambia considerevolmente a seconda della scelta per il modello completo, anche se il confronto effettivo per l'effetto SS rimane lo stesso.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

La stessa domanda si applica al tipo II SS, e in generale a un'ipotesi lineare generale, cioè a un confronto tra un modello ristretto e uno non ristretto all'interno di un modello completo. (Per il tipo III SS, il modello senza restrizioni è sempre il modello completo, quindi la domanda non si pone qui)

Questa è una domanda molto vecchia e credo che la risposta di @ gung sia molto buona (+1). Ma poiché non era del tutto convincente per @caracal, e poiché non seguo completamente tutte le sue complessità, vorrei fornire una semplice figura che illustri come comprendo il problema.

Considera un ANOVA a due vie (il fattore A ha tre livelli, il fattore B ha due livelli) con entrambi i fattori ovviamente molto significativi:

Le SS per il fattore A sono enormi. Le SS per il fattore B sono molto più piccole, ma dalla figura in alto è chiaro che anche il fattore B è molto significativo.

L'errore SS per il modello contenente entrambi i fattori è rappresentato da uno dei sei gaussiani e, confrontando SS per il fattore B con questo errore SS, il test concluderà che il fattore B è significativo.

L'errore SS per il modello contenente solo il fattore B, tuttavia, è enorme! Confrontando SS per il fattore B con questo errore enorme, SS farà sicuramente apparire B non significativo. Il che chiaramente non è il caso.

Ecco perché ha senso utilizzare l'errore SS del modello completo.

Aggiornamento: per chiarire alcuni dei punti che faccio nel passaggio qui, ho aggiunto alcuni collegamenti ai luoghi in cui discuto più approfonditamente le idee pertinenti.

$RSS_{A}$$SS_{A}$$MS_{A}$come denominatore nel tuo test F. Inoltre, usando$MS_{A+B+A*B}$ ti dà più potenza, diminuendo la probabilità di errore di tipo II e non dovrebbe gonfiare l'errore di tipo I.

Ci sono altri problemi nella tua domanda. Dici che il$RSS_{full}$ non è sempre il più basso e, nel tuo esempio, $MS_{A+B+A*B} > MS_{A+B}$. Questo perché l'interazione non è effettivamente associata ad alcuna variabilità propria. Quello$SS_{A*B} = 14.19$sembra essere dovuto solo al caso. Esiste una formula precisa, ma alquanto complicata, che specifica come cambierà la potenza se diversi modelli sono inclusi o esclusi dal modello. Non ce l'ho a portata di mano, ma la sostanza è semplice: quando includi un altro fattore, l'RSS diminuisce (dandoti più potenza), ma il$df_{R}$scende anche (producendo meno energia). Il saldo di questo compromesso è essenzialmente determinato dal fatto che le SS associate a quel fattore siano reali, o solo a causa del caso, che, in pratica, è vagamente indicato dal fatto che il fattore sia significativo ² . Tuttavia, l'eliminazione di fattori non significativi dal modello in modo da ottenere il giusto termine di errore è logicamente equivalente a una procedura di ricerca automatica del modello, anche se non si dispone del software per farlo automaticamente. Dovresti sapere che ci sono molti problemi nel fare questo. Tali problemi e procedure alternative sono discussi altrove nel CV ³ .

Un ultimo argomento riguarda i diversi tipi di SS. In primo luogo, l'uso di diversi tipi di SS non ti fa uscire dal bisogno di una giustificazione logica della tua analisi. Inoltre, il tipo I - III SS è correlato a un problema diverso. Nel tuo esempio, ritengo che i tuoi fattori siano ortogonali, ovvero hai eseguito un esperimento in cui hai assegnato n uguale a ciascuna combinazione di livelli di fattori. Tuttavia, se conduci uno studio osservazionale o se hai problemi di abbandono, i tuoi fattori saranno correlati. Le implicazioni di ciò è che non esiste un modo unico per partizionare le SS e quindi non c'è una risposta unica per le tue analisi da produrre. In altre parole, i vari tipi di SS hanno a che fare con diversi possibili numeratori per il tuo test F quando i tuoi fattori sono correlati ⁴ .

<sub>1. Notare che con i modelli multi-livello, un fattore può essere teorizzato per includere la variabilità rispetto ad altri fattori, a seconda di come viene specificato il modello. Sto discutendo qui l'ordinaria ANOVA, che è quello che sembra stiate chiedendo.
2. Vedi: In che modo l'aggiunta di un secondo IV può rendere significativo il primo IV?
3. Vedi: Algoritmi per la selezione automatica del modello .
4. Vedi: Come interpretare il tipo I (sequenziale) ANOVA e MANOVA?</sub>

La giustificazione è che il fattore A sta spiegando una percentuale maggiore della variazione inspiegabile nel modello A + B rispetto al modello A, poiché il fattore B spiega una porzione significativa (e quindi "la rimuove" dall'analisi).