Cosa significa "tutto il resto uguale" nella regressione multipla?

Quando facciamo regressioni multiple e diciamo che stiamo osservando la variazione media nella variabile per una variazione in una variabile , mantenendo costanti tutte le altre variabili, a quali valori manteniamo costanti le altre variabili? La loro media? Zero? Qualche valore? $y$ $x$

Sono propenso a pensare che abbia valore; sto solo cercando chiarimenti. Se qualcuno avesse una prova, sarebbe fantastico.

— EconStats
fonte

Ho trovato l'esempio 10 nel documento di Peter Kennedy molto utile per capire questo.

— Dimitriy V. Masterov,

Sì, la parte relativa all'aumento del numero di stanze mantenendo costanti i piedi quadrati è un punto davvero osservativo. Quel documento è in realtà una miniera d'oro di idee utili, sta andando nelle note di dottorato.

— EconStats,

Questa è in realtà una domanda molto interessante, mi chiedo se gli economisti si chiedano cosa significhi esattamente "ceteris paribus".

— Mugen,

Hai ragione. Tecnicamente, ha valore . Tuttavia, quando insegno questo, di solito dico alle persone che stai ottenendo l'effetto di un cambio di un'unità in quando tutte le altre variabili sono mantenute nei loro rispettivi mezzi. Credo che questo sia un modo comune per spiegarlo che non è specifico per me. $X_j$

Di solito continuo a menzionare che se non si hanno interazioni, sarà l'effetto di una modifica di un'unità in , indipendentemente dai valori delle altre variabili. Ma mi piace iniziare con la formulazione media. Il motivo è che ci sono due effetti dell'inclusione di più variabili in un modello di regressione. Innanzitutto, ottieni l'effetto del controllo di per le altre variabili (vedi la mia risposta qui ). Il secondo è che la presenza delle altre variabili (in genere) riduce la varianza residua del modello, rendendo le variabili (incluso $\beta_j$ $X_j$ $X_j$ $X_j$ ) "più significativo". È difficile per le persone capire come funziona se le altre variabili hanno valori ovunque. Sembra che aumenterebbe la variabilità in qualche modo. Se si pensa di regolare ciascun punto dati verso l'alto o verso il basso per il valore di ogni altra variabile fino a quando tutte le restanti variabili sono state spostate nei rispettivi mezzi, è più facile vedere che la variabilità residua è stata ridotta. $X$

Non riesco ad interagire fino a quando una classe o due dopo aver introdotto le basi della regressione multipla. Tuttavia, quando arrivo a loro, torno a questo materiale. Quanto sopra si applica quando non ci sono interazioni. Quando ci sono interazioni, è più complicato. In tal caso, la variabile interagente [s] viene mantenuta costante (in modo molto specifico) a e nessun altro valore. $0$

Se vuoi vedere come funziona algebricamente, è piuttosto semplice. Possiamo iniziare con il caso di non interazione. Determiniamo il cambiamento in quando tutte le altre variabili sono mantenute costanti ai rispettivi mezzi. Senza perdita di generalità, diciamo che ci sono tre variabili e siamo interessati a capire come il cambiamento in è associato a un cambiamento di un'unità in , mantenendo e costanti nei rispettivi mezzi: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{io} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 io} \\ {\hat{Y}}_{{io}^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 io} + 1) \\ sottraendo la prima equazione dalla seconda: \\ {\hat{Y}}_{{io}^{'}} - {\hat{Y}}_{io} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 io} + 1) - {\hat{β}}_{3} X_{3 io} \\ Δ Y & = {\hat{β}}_{3} X_{3 io} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 io} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Ora è ovvio che avremmo potuto inserire qualsiasi valore per e nelle prime due equazioni, purché in entrambi abbiamo inserito lo stesso valore per ( ). Cioè, finché e costanti . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

D'altra parte, non funziona in questo modo se hai un'interazione. Qui mostro il caso in cui esiste un termine di interazione : $X_1X_3$

\begin{aligned} {\hat{Y}}_{io} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 io} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 io} \\ {\hat{Y}}_{{io}^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 io} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 io} + 1) \\ sottraendo la prima equazione dalla seconda: \\ {\hat{Y}}_{{io}^{'}} - {\hat{Y}}_{io} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 io} + 1) - {\hat{β}}_{3} X_{3 io} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 io} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 io} \\ Δ Y & = {\hat{β}}_{3} X_{3 io} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 io} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 io} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 io} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

In questo caso, non è possibile mantenere tutte le altre costanti. Poiché il termine di interazione è una funzione di e , non è possibile modificare senza cambiare il termine di interazione. Pertanto, uguale alla modifica in associata a una modifica di un'unità in solo quando la variabile interagente ( ) è mantenuta a invece di (o qualsiasi altro valore tranne ), nel qual caso l'ultimo termine nell'equazione in basso scompare. $X_1$ $X_3$ $X_3$ $\hat\beta_3$ $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

In questa discussione, mi sono concentrato sulle interazioni, ma più in generale, il problema è quando c'è una variabile che è una funzione di un'altra tale che non è possibile cambiare il valore del primo senza cambiare il rispettivo valore dell'altra variabile . In tali casi, il significato di diventa più complicato. Ad esempio, se avessi un modello con e , allora è la derivata mantiene tutto il resto uguale e (vedi la mia risposta qui ). Sono possibili anche altre formulazioni ancora più complicate. $\hat\beta_j$ $X_j$ $X_j^2$ $\hat\beta_j$ $\frac{dY}{dX_j}$ $X_j=0$

— gung - Ripristina Monica
fonte

Grazie, questa risposta è fantastica su un paio di livelli. In primo luogo risponde al punto principale a cui ero interessato. In secondo luogo, hai previsto quale sarebbe stata la mia domanda di follow-up, perché avrei chiesto come sarebbe cambiato con l'introduzione dei termini di interazione. Grazie anche per la matematica. So che questa domanda è un po 'basilare, ma sento che non puoi mai essere troppo esplicito con questi concetti.

— EconStats,

Prego, @EconStats. Non c'è alcun problema con l'inclusione della matematica, a volte rende molto più facile capire cosa sta succedendo.

— gung - Ripristina Monica

Bene, devo dire che quando hai sottratto la prima equazione dalla seconda equazione alla fine ha confermato i miei pensieri originali che non importa quali siano i valori di e , purché siano uguali in entrambe le equazioni. Mi sembra così ovvio, ma non avevo mai pensato di calcolare la quel modo prima. Momento di lampadina definito per me.

X_{2}

$X_2$

X_{3}

$X_3$

β

$\beta$

— EconStats,

Puoi anche prendere la derivata di wrt e ti porterà nello stesso posto, ma questo è più facile per la matematica (essenzialmente l'algebra delle scuole superiori), quindi sarà accessibile a un pubblico più ampio.

Y

$Y$

X_{j}

$X_j$

— gung - Ripristina Monica

@beetroot, se ti capisco correttamente, lo tieni solo a un livello specificato. (Altrimenti, potresti porlo come una nuova domanda.)

— gung - Ripristina Monica

La matematica è semplice, basta prendere la differenza tra 2 modelli con una delle variabili x cambiata di 1 e vedrai che non importa quali siano le altre variabili (dato che non ci sono interazioni, polinomi o altri termini complicanti).

Un esempio:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Greg Snow
fonte

Credo che ti riferisci alla dipendenza nelle covariate ( ). Quindi se il modello è l'effetto di su parità di tutte le altre cose sarebbe per qualsiasi con tutti gli altri mantenuti costanti a qualsiasi valore. $X_i$

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

Tieni presente che è possibile che e siano dipendenti (ad es. Funzioni reciproche) senza mostrare necessariamente un'interazione significativa nel modello lineare ( in ). $X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

Proprio come una tangente interessante qui è un esempio: lascia e quindi chiaramente qualsiasi cambiamento in influirà su . Tuttavia, la covarianza tra i due è zero. $X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

c o v (X_{1}, X_{2}) = E (X_{1} X_{2}) - E (X_{1}) E (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= E [X_{1} (X_{1}^{2} + a)] - E (X_{1}) . E (X_{1}^{2} - a) w i t h a \sim N (0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= E (X_{1}^{3}) - E (X_{1} . a) - 0. E (X_{1}^{2} - a) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

Quindi in realtà una modifica in sarebbe associata a una modifica in e che non coprirebbe ciò che realmente accadrebbe se si modifica . Ma verrebbe comunque descritto come l'effetto di su parità di condizioni. $X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

Ciò è paragonabile alla differenza tra un derivato completo e un derivato parziale (analogo di ) in un'equazione differenziale. $\frac{\Delta{Y}}{\Delta{X_i}}$

— Hans Roggeman
fonte

Grazie Hans, in realtà stavo cercando di arrivare al punto che il gung ha fatto, ma questo è un buon esempio per quando le due variabili sono dipendenti.

— EconStats,