Nella regressione multipla, perché le interazioni sono modellate come prodotti, e non qualcos'altro, dei predittori?

Considera la regressione lineare multipla. Questa domanda potrebbe essere ingannevolmente semplice, ma sto cercando di capire intuitivamente perché, per esempio se ho predittori X1 e X2, allora le interazioni tra questi predittori possono essere adeguatamente catturate da X1 * X2.

So che i termini di interazione sono modellati come prodotti, solo perché è quello che mi è stato insegnato a scuola, ed è quello che tutti dicono di fare. Suppongo ci sia forse qualche argomento geometrico.

Ma perché un prodotto (vale a dire due caratteristiche numeriche e non la complessità aggiuntiva del moltiplicarsi per uno è una variabile fittizia mentre l'altro è numerico ecc.) Catturerà adeguatamente le interazioni?

Perché le "interazioni" non sono meglio catturate da un'altra f (X1, X2) per impostazione predefinita anziché specificamente X1 * X2?

Vedo l'idea che X1 * X2 potrebbe catturare situazioni in cui i segni di X1 e X2 sono uguali o no, ma allora perché, per esempio, le interazioni di default non sarebbero modellate da dire f (X1, X2) = segno (X1 ) * segno (X2) invece di f (X1, X2) = X1X2?

Mi rendo conto di poter aggiungere qualsiasi altra f (X1, X2) a una regressione o qualsiasi modello predittivo, ma trovare la forma esatta delle interazioni con la codifica manuale richiede tempo. Come faccio a sapere che X1X2 è una buona prima ipotesi?

Possiamo concepire una "interazione" tra variabili del regressore $x_1$ e $x_2$come una deviazione da una relazione perfettamente lineare in cui la relazione tra un regressore e la risposta è diversa per i diversi valori degli altri regressori. Il solito "termine di interazione" è, in un certo senso, spiegato di seguito, una "più semplice" tale partenza.

Definizioni e concetti

"Relazione lineare" significa semplicemente il solito modello in cui supponiamo una risposta $Y$ differisce da una combinazione lineare di $x_i$ (e una costante) con errori indipendenti, a media zero $\varepsilon:$

$$Y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \varepsilon.\tag{*}$$

"Interazione", nel senso più generale, indica i parametri $\beta_i$ può dipendere da altre variabili.

Nello specifico, in questo esempio di soli due regressori, potremmo scrivere genericamente

$$\beta_1 = \beta_1(x_2)\text{ and }\beta_2 = \beta_2(x_1).$$

Analisi

Ora, in pratica, nessuno, tranne un fisico teorico, crede davvero al modello $(*)$è del tutto preciso: è un'approssimazione della verità e, speriamo, una stretta. Perseguendo ulteriormente questa idea, potremmo chiederci se possiamo approssimare allo stesso modo le funzioni$\beta_i$con quelli lineari nel caso in cui abbiamo bisogno di modellare un qualche tipo di interazione. In particolare, potremmo provare a scrivere

$$\beta_1(x_2) = \gamma_0 + \gamma_1 x_2 + \text{ tiny error}_1;$$ $$\beta_2(x_1) = \delta_0 + \delta_1 x_1 + \text{ tiny error}_2.$$

Vediamo dove conduce. Collegare queste approssimazioni lineari a$(*)$ dà

$$\eqalign{ Y &= \beta_0 + \beta_1(x_2) x_1 + \beta_2(x_1) x_2 + \varepsilon \\ &= \beta_0 + (\gamma_0 + \gamma_1 x_2 + \text{ tiny error}_1)x_1 + (\delta_0 + \delta_1 x_1 + \text{ tiny error}_2)x_2 + \varepsilon \\ &= \beta_0 + \gamma_0 x_1 + \delta_0 x_2 + (\gamma_1 + \delta_1)x_1 x_2 + \ldots }$$

dove "$\ldots$"rappresenta l'errore totale,

$$\ldots = (\text{ tiny error}_1)x_1 + (\text{ tiny error}_2)x_2 + \varepsilon.$$

Con un po 'di fortuna, moltiplicando questi due "piccoli errori" per i valori tipici di $x_i$ sarà (a) essere irrilevante rispetto a $\varepsilon$ oppure (b) possono essere trattati come termini casuali che, se aggiunti a $\varepsilon$ (e forse adeguando il termine costante $\beta_0$ per compensare qualsiasi distorsione sistematica) può essere trattato come un termine di errore casuale.

In entrambi i casi, con un cambio di notazione vediamo che questo modello di approssimazione lineare a un'interazione prende forma

$$Y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_{12}x_1 x_2 + \varepsilon,\tag{**}$$

che è precisamente il solito modello di regressione "interazione". (Notare che nessuno dei nuovi parametri, né$\varepsilon$ stesso, è la stessa quantità originariamente rappresentata da quei termini in $(*).$)

Osserva come $\beta_{12}$sorge attraverso la variazione di entrambi i parametri originali. Cattura la combinazione di (i) come il coefficiente di$x_1$ dipende da $x_2$ (vale a dire, attraverso $\gamma_1$) e (ii) come il coefficiente di$x_2$ dipende da $x_1$ (attraverso $\delta_1$).

---

Alcune conseguenze

È una conseguenza di questa analisi che se risolviamo tutti i regressori tranne uno, quindi ( condizionatamente ) la risposta$Y$è ancora una funzione lineare del restante regressore. Ad esempio, se fissiamo il valore di$x_2,$ allora potremmo riscrivere il modello di interazione $(**)$ come

$$Y = (\beta_0 + \beta_2 x_2) + (\beta_1 + \beta_{12} x_2) x_1 + \varepsilon,$$

dove si trova l'intercettazione $\beta_0 + \beta_2 x_2$ e la pendenza (cioè il $x_1$ coefficiente) è $\beta_1 + \beta_2 x_2.$ Ciò consente una facile descrizione e approfondimento. Geometricamente, la superficie data dalla funzione

$$f(x_1,x_2) = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_{12}x_1x_2$$

è governato: quando lo dividiamo parallelamente a uno degli assi delle coordinate, il risultato è sempre una linea. (Tuttavia, la superficie stessa non è planare tranne quando$\beta_{12}=0.$ In effetti, ovunque ha una curvatura gaussiana negativa.)

Infine, se la nostra speranza per (a) o (b) non si esaurisce, potremmo espandere ulteriormente il comportamento funzionale dell'originale $\beta_i$per includere i termini del secondo ordine o superiore. L'esecuzione della stessa analisi mostra che ciò introdurrà i termini del modulo$x_1^2,$ $x_2^2,$ $x_1x_2^2,$ $x_1^2x_2,$e così via nel modello. In questo senso, includere un termine di interazione (prodotto) è semplicemente il primo - e più semplice - passo verso la modellizzazione delle relazioni non lineari tra la risposta e i regressori mediante funzioni polinomiali.

Infine, nel suo libro di testo EDA (Addison-Wesley 1977), John Tukey mostrò come questo approccio potesse essere condotto molto più in generale. Dopo la prima "ri-espressione" (cioè l'applicazione di trasformazioni non lineari adeguate ai) regressori e la risposta, spesso accade che entrambi i modelli$(*)$ si applica alle variabili trasformate o, in caso contrario, al modello $(**)$può essere facilmente adattato (utilizzando una solida analisi dei residui). Ciò consente di esprimere e interpretare una grande varietà di relazioni non lineari come risposte condizionatamente lineari.