Firma capovolgendo quando aggiungi un'altra variabile in regressione e con magnitudo molto maggiore

Configurazione di base:

modello di regressione: dove C è il vettore delle variabili di controllo.$y = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon$

Sono interessato a e mi aspetto che e siano negativi. Tuttavia, esiste un problema di multicollinearità nel modello, il coefficiente di correlazione è dato da, corr ( , 0.9345, corr ( , 0.1765, corr ( , 0.3019.β 1 β 2 x 1 x 2 ) = x 1 x 3 ) = x 2 x 3 ) $\beta$$\beta_1$$\beta_2$$x_1$$x_2)=$$x_1$$x_3)=$$x_2$$x_3)=$

Quindi e sono altamente correlati e dovrebbero praticamente fornire le stesse informazioni. Corro tre regressioni: x $x_1$$x_2$

1. escludi variabile; 2. escludi la variabile ; 3. modello originale con e .x 2 x 1 x $x_1$$x_2$$x_1$$x_2$

Risultati:
per la regressione 1 e 2, fornisce il segno atteso rispettivamente per e e con magnitudo simile. E e sono significativi nel livello del 10% in entrambi i modelli dopo aver eseguito la correzione HAC in errore standard. è positivo ma non significativo in entrambi i modelli.$\beta_2$$\beta_1$$\beta_2$$\beta_1$$\beta_3$

Ma per 3, ha il segno atteso, ma il segno per è positivo con la grandezza due volte maggiore di in valore assoluto. E sia che sono insignificanti. Inoltre, la grandezza di riduce quasi della metà rispetto alla regressione 1 e 2.$\beta_1$$\beta_2$$\beta_1$$\beta_1$$\beta_2$$\beta_3$

La mia domanda è:

Perché in 3, il segno di diventa positivo e molto maggiore di in valore assoluto? C'è qualche motivo statistico che può capovolgere il segno e ha una grande magnitudine? O è perché i modelli 1 e 2 subiscono un problema variabile omesso che gonfia purché abbia un effetto positivo su y? Ma poi nei modelli di regressione 1 e 2, sia che dovrebbero essere positivi anziché negativi, poiché l'effetto totale di e nel modello di regressione 3 è positivo.$\beta_2$$\beta_1$$\beta_2$$\beta_3$$x_2$$\beta_2$$\beta_1$$x_1$$x_2$

Pensa a questo esempio:

Raccogli un set di dati basato sulle monete nelle tasche delle persone, la variabile / risposta y è il valore totale delle monete, la variabile x1 è il numero totale di monete e x2 è il numero di monete che non sono quarti (o qualunque sia il valore più grande delle monete comuni sono per il locale).

È facile vedere che la regressione con x1 o x2 darebbe una pendenza positiva, ma quando si include entrambi nel modello la pendenza su x2 diventerebbe negativa poiché aumentare il numero di monete più piccole senza aumentare il numero totale di monete significherebbe sostituire monete grandi con monete più piccole e riduzione del valore complessivo (y).

La stessa cosa può accadere ogni volta che si hanno variabili x correlate, i segni possono facilmente essere opposti tra quando un termine è da solo e in presenza di altri.

Hai risposto alla tua domanda: c'è collinearità.

Un po 'di spiegazione: e sono altamente collineari. Ma quando si immettono entrambi nella regressione, la regressione sta tentando di controllare l'effetto delle altre variabili. In altre parole, mantieni costante , cosa fanno le modifiche in a . Ma il fatto che siano così strettamente correlati significa che questa domanda è sciocca e possono accadere cose strane.$x_1$$x_2$$x_1$$x_2$$y$

Perché in 3, il segno di β2 diventa positivo e molto maggiore di β1 in valore assoluto? C'è qualche motivo statistico che β2 può capovolgere il segno e ha una grande magnitudine?

La semplice risposta è che non esiste una ragione profonda.

Il modo di pensarci è che quando il multicollineary si avvicina perfettamente, i valori specifici che si ottengono dall'adattamento diventano sempre più dipendenti da dettagli sempre più piccoli dei dati. Se si dovesse campionare la stessa quantità di dati dalla stessa distribuzione sottostante e quindi adattarsi, si potrebbero ottenere valori adattati completamente diversi.