Discrepanza tra regressione e ANOVA (aov vs lm in R)

Ho sempre avuto l'impressione che la regressione sia solo una forma più generale di ANOVA e che i risultati sarebbero identici. Di recente, tuttavia, ho eseguito sia una regressione che un ANOVA sugli stessi dati e i risultati differiscono in modo significativo. Cioè, nel modello di regressione sia gli effetti principali che l'interazione sono significativi, mentre nell'ANOVA un effetto principale non è significativo. Mi aspetto che questo abbia qualcosa a che fare con l'interazione, ma non mi è chiaro cosa sia diverso in questi due modi di modellare la stessa domanda. Se è importante, un predittore è categorico e l'altro è continuo, come indicato nella simulazione seguente.

Ecco un esempio di come appaiono i miei dati e di quali analisi sto eseguendo, ma senza che gli stessi valori p o gli effetti siano significativi nei risultati (i miei risultati effettivi sono descritti sopra):

group<-c(1,1,1,0,0,0)
moderator<-c(1,2,3,4,5,6)
score<-c(6,3,8,5,7,4)

summary(lm(score~group*moderator))
summary(aov(score~group*moderator))

La summaryfunzione chiama metodi diversi a seconda della classe dell'oggetto. La differenza non è nel aovvs lm, ma nelle informazioni presentate sui modelli. Ad esempio, se hai usato anova(mod1)e anova(mod2)invece, dovresti ottenere gli stessi risultati.

Come dice @Glen, la chiave è se i test riportati sono basati su somme di quadrati di Tipo 1 o Tipo 3. Questi differiranno quando la correlazione tra le variabili esplicative non è esattamente 0. Quando sono correlate, alcune SS sono uniche per un predittore e altre per l'altro, ma alcune SS potrebbero essere attribuite a uno o entrambi. ( Puoi visualizzarlo immaginando il simbolo MasterCard- al centro c'è una piccola regione di sovrapposizione.) Non esiste una risposta unica in questa situazione e, sfortunatamente, questa è la norma per i dati non sperimentali. Un approccio prevede che l'analista usi il proprio giudizio e assegni le SS sovrapposte a una delle variabili. Quella variabile entra prima nel modello. L'altra variabile entra nel secondo modello e ottiene la SS che sembra un biscotto con un morso rimosso da esso. Il suo effetto può essere testato da ciò che a volte viene chiamato $R^2$cambia o cambia F. Questo approccio utilizza SS di tipo 1. In alternativa, è possibile farlo due volte con ciascuna entrata per prima e riportare il test di modifica F per entrambi i predittori. In questo modo, nessuna delle variabili ottiene la SS a causa della sovrapposizione. Questo approccio utilizza SS di tipo 3. (Dovrei anche dirti che quest'ultimo approccio è tenuto in scarsa considerazione.)

Seguendo il suggerimento di @BrettMagill nel commento qui sotto, posso provare a renderlo un po 'più chiaro. (Nota che, nel mio esempio, sto usando solo 2 predittori e nessuna interazione, ma questa idea può essere ingrandita per includere tutto ciò che ti piace.)

Tipo 1: SS (A) e SS (B | A)

Tipo 3: SS (A | B) e SS (B | A)

I risultati dell'output di aov ti danno probabilità basate sulla somma dei quadrati di tipo 1. Questo è il motivo per cui il risultato dell'interazione è lo stesso e gli effetti principali differiscono.

Se si utilizzano le probabilità in base alla somma dei quadrati di tipo 3, corrisponderanno ai risultati della regressione lineare.

library(car)
Anova(aov(score~group*moderator),type=3)

La differenza principale tra regressione lineare e ANOVA è che in ANOVA le variabili predittive sono discrete (ovvero hanno livelli diversi). Mentre nella regressione lineare, le variabili predittive sono continue.