Nella regressione lineare, perché dovremmo includere termini quadratici quando siamo interessati solo a termini di interazione?

Supponiamo che io sia interessato a un modello di regressione lineare, per , perché vorrei vedere se un'interazione tra le due covariate ha un effetto su Y.

Nelle note di un corso per professori (con cui non ho contatti), si afferma: Quando si includono termini di interazione, è necessario includere i termini di secondo grado. cioè dovrebbero essere inclusi nella regressione.

Perché dovremmo includere termini di secondo grado quando siamo interessati solo alle interazioni?

Dipende dall'obiettivo dell'inferenza. Se vuoi dedurre se esiste un'interazione, ad esempio, in un contesto causale (o, più in generale, se vuoi interpretare il coefficiente di interazione), questa raccomandazione del tuo professore ha un senso e proviene dal il fatto che la mancata specificazione della forma funzionale può portare a inferenze errate sull'interazione .

Ecco un semplice esempio in cui non esiste un termine di interazione tra e nell'equazione strutturale di , tuttavia, se non si include il termine quadratico di , si potrebbe erroneamente concludere che interagisce con quando in realtà non lo fa ' t.$x_1$$x_2$$y$$x_1$$x_1$$x_2$

set.seed(10)
n <- 1e3
x1 <- rnorm(n)
x2 <- x1 + rnorm(n)
y <- x1 + x2 + x1^2 + rnorm(n)
summary(lm(y ~ x1 + x2 + x1:x2))

Call:
lm(formula = y ~ x1 + x2 + x1:x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.7781 -0.8326 -0.0806  0.7598  7.7929 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.30116    0.04813   6.257 5.81e-10 ***
x1           1.03142    0.05888  17.519  < 2e-16 ***
x2           1.01806    0.03971  25.638  < 2e-16 ***
x1:x2        0.63939    0.02390  26.757  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.308 on 996 degrees of freedom
Multiple R-squared:  0.7935,    Adjusted R-squared:  0.7929 
F-statistic:  1276 on 3 and 996 DF,  p-value: < 2.2e-16

Questo può essere interpretato semplicemente come un caso di distorsione da variabile omessa, e qui è la variabile omessa. Se torni indietro e includi il termine quadrato nella tua regressione, l'interazione apparente scompare.$x_1^2$

summary(lm(y ~ x1 + x2 + x1:x2 + I(x1^2)))   

Call:
lm(formula = y ~ x1 + x2 + x1:x2 + I(x1^2))

Residuals:
    Min      1Q  Median      3Q     Max 
-3.4574 -0.7073  0.0228  0.6723  3.7135 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0419958  0.0398423  -1.054    0.292    
x1           1.0296642  0.0458586  22.453   <2e-16 ***
x2           1.0017625  0.0309367  32.381   <2e-16 ***
I(x1^2)      1.0196002  0.0400940  25.430   <2e-16 ***
x1:x2       -0.0006889  0.0313045  -0.022    0.982    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.019 on 995 degrees of freedom
Multiple R-squared:  0.8748,    Adjusted R-squared:  0.8743 
F-statistic:  1739 on 4 and 995 DF,  p-value: < 2.2e-16

Naturalmente, questo ragionamento si applica non solo ai termini quadratici, ma alla mancata specificazione della forma funzionale in generale. L'obiettivo qui è quello di modellare la funzione di aspettativa condizionale in modo appropriato per valutare l'interazione. Se ti stai limitando alla modellazione con regressione lineare, dovrai includere manualmente questi termini non lineari. Ma un'alternativa è usare modelli di regressione più flessibili, come ad esempio la regressione della cresta del kernel .

I due modelli che hai elencato nella tua risposta possono essere ri-espressi per chiarire in che modo si postula che l'effetto di dipenda da (o viceversa) in ciascun modello.$X_1$$X_2$

Il primo modello può essere ri-espresso in questo modo:

il che dimostra che, in questo modello, si presume che abbia un effetto lineare su (controllando l'effetto di ) ma l'entità di questo effetto lineare - catturato dal coefficiente di pendenza di - cambia linearmente in funzione di . Ad esempio, l'effetto di su può aumentare di magnitudine all'aumentare dei valori di .$X1$$Y$$X_2$$X_1$$X_2$$X_1$$Y$$X_2$

Il secondo modello può essere ri-espresso in questo modo:

che mostra che, in questo modello, si presume che l'effetto di su (controllando l'effetto di ) sia quadratico anziché lineare. Questo effetto quadratico viene catturato includendo sia che nel modello. Mentre si assume che il coefficiente di sia indipendente da , si presume che il coefficiente di dipenda linearmente da .$X_1$$Y$$X_2$$X_1$$X_1^2$$X_1^2$$X_2$$X_1$$X_2$

L'uso di uno dei due modelli implicherebbe che stai facendo ipotesi completamente diverse sulla natura dell'effetto di su (controllando l'effetto di ).$X_1$$Y$$X_2$

Di solito, le persone si adattano al primo modello. Potrebbero quindi tracciare i residui di quel modello contro e a turno. Se i residui rivelano un modello quadratico nei residui in funzione di e / o , il modello può essere aumentato di conseguenza in modo da includere e / o (e possibilmente la loro interazione).$X_1$$X_2$$X_1$$X_2$$X_1^2$$X_2^2$

Si noti che ho semplificato la notazione usata per coerenza e reso esplicito il termine di errore in entrambi i modelli.