La correlazione tra variabili in un'interazione è importante?

Supponiamo di adattare un modello . Ci sono implicazioni pratiche per la stima dell'effetto di interazione se e sono correlati?$y = x_1 + x_2 + x_1\times x_2$$x_1$$x_2$

Capisco che potrebbero esserci problemi di collinearità se e sono molto correlati ma ciò non dovrebbe influire sul termine di interazione giusto?$x_1$$x_2$

C'è una ragione per cui il tuo consulente statistico non è in grado di spiegare perché l'introduzione di un'interazione in un modello lineare potrebbe influire negativamente sulla struttura di correlazione: dipende dalle circostanze e non è generalmente vero che vi sia un effetto negativo. Basta guardare i set di dati mostrati nelle matrici scatterplot di seguito per vedere tutti i diversi modi in cui due variabili potrebbero essere correlate ai loro prodotti.

Il resto di questo post spiega come sono state prodotte queste cifre e potrebbe fornire maggiori informazioni sulla situazione.

---

Innanzitutto, leviamo l'ovvio: scrivere $x_3=x_1x_2,$ hai una regressione multipla che coinvolge le tre variabili $x_1, x_2, x_3.$ La presenza o meno di problemi di collinearità dipende dalle relazioni lineari tra i $x_i.$ Questo è universale.

La particolarità di questo problema è la relazione tra$x_3$ e l'altro $x_i;$ cioè quello $x_3 = x_1x_2.$ Pertanto, se qualcuno ti ha consigliato di stare attento, deve essere dovuto all'aspettativa che questa relazione moltiplicativa comporti matematicamente una sorta di multicollinearità tra tutti i$x_i.$

Non è così, come si può dimostrare esibendo tutti i possibili schemi. Non voglio esaurirti con la pedanteria di passare attraverso tutte le possibilità, quindi lasciatemi solo delineare alcune delle più illustrative. Lo strumento di base che userò in questo studio è l'osservazione che la correlazione tra eventuali variabili$x_1, x_2$ rimane invariato quando il $x_i$subire separatamente trasformazioni lineari. Cioè, possiamo moltiplicare liberamente entrambe le variabili per costanti e aggiungere altre costanti ai risultati senza modificare la correlazione. Tuttavia, queste operazioni possono alterare profondamente le correlazioni tra$x_1x_2$ e $x_i.$

Prodotto (quasi) costante

È possibile per $x_1x_2$essere costante (che, quando una regressione include una costante, sarà problematica). Per creare un esempio, è sufficiente generare valori diversi da zero per$x_1$ e definire $x_2 = c/x_1.$ Il loro prodotto è uguale $c$ per costruzione.

Puoi perturbare questo esempio cambiando $c\ne 0$ in una variabile casuale con valori vicini a $c.$ In questo modo verrà introdotta una piccola correlazione tra $x_i$e il loro prodotto, ma non molto. Ecco, ad esempio, un esempio in cui$x_1$ è tratto da una gamma$(5)$ distribuzione e $c$ ha una distribuzione normale con media $1$ e deviazione standard di just $1/100:$

sebbene il $x_i$ avere una correlazione di $\rho_{1\cdot 2}=-0.87$ in questo esempio, le loro correlazioni con $x_1x_2$ sono solo $-0.06$ e $0.00.$

Quindi, sebbene ci possa essere un po 'di problema usando entrambi $x_1$ e $x_2$ in un modello lineare, incluso $x_1x_2$ è improbabile che esasperi.

Prodotto non costante

Per rendere più chiari i calcoli, potremmo anche supporre che $x_i$hanno una varianza unitaria. Lascia che la varianza di$x_1x_2$ essere $\tau^2$ e scrivi $\rho_{12\cdot i}$ per le correlazioni tra $x_1x_2$ e $x_i.$ Calcoliamo cosa succede a queste correlazioni quando costanti $c_i$ vengono sottratti dal $x_i.$ Perché la $x_i$ gioca ruoli perfettamente simmetrici (basta scambiare "$1$"per"$2$"negli indici), è sufficiente calcolare la correlazione con $x_1:$

$$\eqalign{ \operatorname{Cor}((x_1-c_1)(x_2-c_2), x_1) &= \frac{\operatorname{Cov} ((x_1-c_1)(x_2-c_2), x_1)}{\sqrt{\operatorname{Var}{(x_1-c_1)(x_2-c_2)}\operatorname{Var}{x_1}}} \\ &= \frac{\operatorname{Cov} (x_1x_2 - c_2x_1 - c_1x_2+c_1c_2, x_1)}{\sqrt{\operatorname{Var}(x_1x_2 - c_1x_2 - c_2x_1 + c_1c_2)}} \\ &= \frac{\tau\rho_{12\cdot 1}-c_2-c_1\rho_{1\cdot 2}}{\sqrt{\tau^2 - c_1\rho_{1\cdot 2} - c_2 - 2c_1\rho_{12\cdot 2} - 2c_2\rho_{12\cdot 1} + 2c_1c_2\rho_{1\cdot 2}}}.\tag{*} }$$

Zero correlazioni con il prodotto

Indipendentemente da quale sia la correlazione tra il $x_i$potremmo essere, possiamo scegliere$(c_1,c_2)$ per rendere il prodotto non correlato con il $x_i.$

Dall'analisi che precede, questo sarà raggiunto quando il numeratore di $(*)$ è zero per $i=1,2:$

$$\left\{\matrix{0 = \tau\rho_{12\cdot 1} -c_2 - c_1\rho_{1\cdot 2} \\ 0 = \tau\rho_{12\cdot 2} -c_1 - c_2\rho_{1\cdot 2}}\right.$$

quando $\rho_{1\cdot 2}^2 \ne 1,$ questo sistema di equazioni in $(c_1,c_2)$ha una soluzione unica. Ecco, ad esempio, una matrice scatterplot di un set di dati di$100$ valori in cui il $(x_i)$ avere una distribuzione normale bivariata con correlazione $\rho_{1\cdot 2}=-0.99$ ma il $x_i$ avere zero correlazione con $x_1x_2$:

Perché $x_1x_2$ non è correlato con ("ortogonale a") sia il $x_i,$ introdurlo in qualsiasi modello lineare non creerà alcun problema.

Come suggerisce questo esempio, questa situazione è la norma perché tende a verificarsi quando $x_i$sono stati centrati. In altre parole, se si centrano le variabili prima di creare un'interazione, di solito non si incontrano problemi con collinearità aggiuntiva.

Forti correlazioni con il prodotto

Le equazioni $(*)$può anche essere risolto per produrre forti correlazioni. Non è nemmeno necessario spingerci fino a risolvere esattamente le equazioni (il che è una sfida), perché esiste una semplice scorciatoia: riscalando una delle$x_i$essere quasi zero e aggiungendo una costante ad esso, non cambieremo la loro correlazione, ma poi il prodotto sarà quasi uguale a un multiplo dell'altro$x_i,$ rendendoli così fortemente correlati.

Ecco un esempio basato sul precedente. In questo esempio,$x_2$ è stato cambiato in $1 + x_2 / 100$ così che $x_1x_2$ è approssimativamente uguale a $x_1,$ rendendolo fortemente correlato positivamente con $x_1x_2.$ Infatti, $\rho_{12\cdot 1} = 0.999878$ e $\rho_{12\cdot 2} = -0.9898793$ in questo esempio.