Regressione moderata: perché calcoliamo un termine * prodotto * tra i predittori?

12

Le analisi di regressione moderate sono spesso utilizzate nelle scienze sociali per valutare l'interazione tra due o più predittori / covariate.

In genere, con due variabili predittive, viene applicato il seguente modello:

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

Si noti che il test di moderazione è reso operativo dal termine prodotto $XM$ (la moltiplicazione tra la variabile indipendente $X$ e la variabile moderatore $M$ ). La mia domanda fondamentale è: perché calcoliamo effettivamente un termine del prodotto tra $X$ e $M$ ? Perché non, ad esempio, la differenza assoluta $|M-X|$ o solo la somma $X + M$ ?

È interessante notare che Kenny allude a questo problema qui http://davidakenny.net/cm/moderation.htm dicendo: "Come si vedrà, il test di moderazione non è sempre reso operativo dal termine prodotto XM", ma non vengono fornite ulteriori spiegazioni . Un'illustrazione o una prova formale sarebbe illuminante, immagino / spero.

regression interaction

— denominatore
fonte

12

Un "moderatore" influenza i coefficienti di regressione di rispetto a : potrebbero cambiare con il variare dei valori del moderatore. Quindi, in generale, il semplice modello di moderazione della regressione è $Y$ $X$

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

dove e sono funzioni del moderatore anziché costanti affetti da valori di . $\alpha$ $\beta$ $M$ $M$

Nello stesso spirito in cui la regressione si basa su un'approssimazione lineare della relazione tra e , possiamo sperare che sia che siano - almeno approssimativamente - funzioni lineari di tutta la gamma di valori di nei dati: $X$ $Y$ $\alpha$ $\beta$ $M$ $M$

\begin{aligned} E (Y) & = α_{0} + α_{1} M + O (M^{2}) + (β_{0} + β_{1} M + O (M^{2})) X \\ = α_{0} + β_{0} X + α_{1} M + β_{1} M X + O (M^{2}) + O (M^{2}) X . \end{aligned}

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

Eliminare i termini non lineari ("big-O"), nella speranza che siano troppo piccoli per importare, fornisce il modello di interazione moltiplicativa (bilineare)

\begin{matrix} (1) & E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X . \end{matrix}

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

Questa derivazione suggerisce un'interpretazione interessante dei coefficienti: è la velocità con cui cambia l' intercetta mentre è la velocità con cui cambia la pendenza . ( e sono la pendenza e l'intercettazione quando è (formalmente) impostato su zero.) è il coefficiente del "termine prodotto" . Risponde alla domanda in questo modo: $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ $MX$

Modelliamo la moderazione con un termine di prodotto quando ci aspettiamo che il moderatore sarà (circa, in media) hanno una relazione lineare con la pendenza della vs . $MX$ $M$ $Y$ $X$

È interessante notare che questa derivazione indica la strada verso un'estensione naturale del modello, che potrebbe suggerire modi per verificare la bontà dell'adattamento. Se non ti preoccupi della non linearità in - conosci o presumi che il modello sia accurato - allora vorresti estendere il modello per adattarlo ai termini che sono stati rilasciati: $X$ $(1)$

E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X + α_{2} M^{2} + β_{2} M^{2} X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

Testare l'ipotesi valuta la bontà . Stimare e potrebbe indicare in che modo potrebbe essere necessario estendere il modello : per incorporare la non linearità in (quando ) o una relazione di moderazione più complicata (quando ) o possibilmente tutti e due. (Si noti che questo test non sarebbe suggerito da un'espansione in serie di potenze di una funzione generica .) $\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ $f(X,M)$

Infine, se dovessi scoprire che il coefficiente di interazione non era significativamente diverso da zero, ma che l'adattamento non è lineare (come evidenziato da un valore significativo di ), allora concluderesti (a) c'è moderazione ma ( b) non è modellato da un termine , ma da alcuni termini di ordine superiore che iniziano con . Questo potrebbe essere il tipo di fenomeno a cui si riferiva Kenny. $\beta_1$ $\beta_2$ $MX$ $M^2X$

— whuber
fonte

8

Se usi la somma dei predittori per modellare la loro interazione, la tua equazione sarebbe:

\begin{array}{rcl} Y & = & β_{0} + β_{1} X + β_{2} M + β_{3} (X + M) + e \\ = & β_{0} + β_{1} X + β_{2} M + β_{3} X + β_{3} M + e \\ = & β_{0} + (β_{1} + β_{3}) X + (β_{2} + β_{3}) M + e \\ = & β_{0} + β_{1}^{'} X + β_{2}^{'} M + e \end{array}

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

dove e . Pertanto, il tuo modello non avrebbe alcuna interazione. Chiaramente, questo non è il caso del prodotto. $\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

Richiama la definizione del valore assoluto:

| X - M | = {\begin{cases} X - M, & X \geq M \\ M - X, & X < M \end{cases}

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

Sebbene sia possibile ridurre il modello a quello con solo e termini, usando il def. di, il valore assoluto è una "forma specializzata di moderazione che è improbabile che sia realistica in molte situazioni", come sottolineato nel commento qui sotto. $\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ $X$ $M$ $|X-M|$

— Milos
fonte

1

In realtà, incluso unil termine è una forma di moderazione: il valore di cambia . È, tuttavia, una forma limitata e specializzata di moderazione che difficilmente sarà realistica in molte situazioni. Non è corretto affermare che un tale modello abbia "solo effetti principali".

| X - M |

$|X-M|$

M

$M$

β_{2}

$\beta_2$

— whuber

1

Sì, hai ragione,è una forma di moderazione, mi sono lasciato trascinare dalla trasformazione e modificherò la risposta di conseguenza. Grazie per averlo segnalato.

| X - M |

$|X-M|$

— Milos,

@Milos: il tuo esempio sulla somma dei predittori è stato un colpo d'occhio, un po 'imbarazzante, devo dire perché avrei dovuto già rendermi conto delle implicazioni matematiche;) whuber: per quanto ho capito, il valore assoluto è solo utile quando entrambe le variabili predittive vengono misurate in stesse unità (ad esempio due test psicometrici, utilizzando la stessa metrica, come i punteggi z o i punteggi T). La differenza assoluta tra X e M è una metrica utile , sebbene non l'unica possibile (cioè potrebbe anche essere usato il termine prodcut).

— denominatore

6

Non troverai una prova formale per l'utilizzo del moderatore moltiplicativo. Puoi supportare questo approccio con altri mezzi. Ad esempio, guarda l'espansione Taylor-MacLaurin di una funzione : $f(X,M)$

f (X, M) = f (0, 0) + \frac{\partial f (0, 0)}{\partial T} T + \frac{\partial f (0, 0)}{\partial M} M + \frac{\partial^{2} f (0, 0)}{\partial T \partial M} T M + \frac{\partial^{2} f (0, 0)}{2 \partial T^{2}} T^{2} + \frac{\partial^{2} f (0, 0)}{2 \partial M^{2}} M^{2} \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

Se si collega una funzione di questo modulo nell'equazione di Taylor, si ottiene questo: $f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$

f (X, M) = β_{0} + β_{X} X + β_{M} M + β_{X M} X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

Quindi, la logica qui è che questa particolare forma moltiplicativa della moderazione è sostanzialmente un'approssimazione di Taylor del secondo ordine di una relazione di moderazione generica $f(X,M)$

AGGIORNAMENTO: se includi termini quadratici, come suggerito da @whuber, ciò accadrà: a Taylor:

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

Ciò dimostra che il nostro nuovo modello con termini quadratici corrisponde a un'approssimazione completa di Taylor del secondo ordine, a differenza del modello di moderazione originale . $g(X,M)$ $f(X,M)$

— Aksakal
fonte

Poiché la base del tuo argomento è l'espansione di Taylor, perché non hai incluso anche gli altri due termini quadratici e ? È vero, non sono forme di moderazione, ma la loro inclusione nel modello di solito influirà su .

X^{2}

$X^2$

M^{2}

$M^2$ $\beta_{XM}$

— whuber

@whuber, ho deciso di mantenere il post breve - questa è la ragione principale. Altrimenti, ho iniziato a scrivere sulla mia preferenza di includere termini del secondo ordine ogni volta che hai un termine incrociato, quindi ritagliarlo.

— Aksakal,