L'indipendenza media condizionale implica imparzialità e coerenza dello stimatore OLS

Considera il seguente modello di regressione multipla:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

Qui $Y$ è un vettore di colonna $n\times 1$ ; Matrice $X$ a $n\times (k+1)$ ; $\beta$ a $(k+1)\times 1$ colonna vettore; $Z$ a $n\times l$ matrice; $\delta$ a $l\times 1$ colonna vettore; e $U$ , il termine di errore, un vettore di colonna $n\times1$ .

DOMANDA

Il mio docente, il libro di testo Introduzione all'econometria, 3a ed. di James H. Stock e Mark W. Watson, pag. 281, ed Econometrics: Honor's Exam Review Session (PDF) , p. 7, mi ha espresso quanto segue.

Se assumiamo ciò che viene chiamato condizionale significa indipendenza , che per definizione significa che $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
e se il presupposto dei minimi quadrati è soddisfatto eccetto il presupposto zero della media condizionale (quindi assumiamo ) (vedi 1 -3 sotto), $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z) \neq 0$
quindi, lo stimatore OLS di in rimane imparziale e coerente, sotto questo insieme più debole di ipotesi. $\hat{\beta}$ $\beta$ $(1)$

Come posso dimostrare questa proposta? Vale a dire, che 1 e 2 sopra implicano che la stima OLS di ci fornisce uno stimatore imparziale e coerente per ? C'è qualche articolo di ricerca che prova questa proposta? $\beta$ $\beta$

COMMENTO

Il caso più semplice è dato considerando il modello di regressione lineare e dimostra che la stima OLS di è imparziale se per ciascuno .

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

LA PROVA DI UNBIASEDNESS ASSUNZIONANDO CHE E SONO DISTRIBUITI NORMALMENTE NORMALMENTE $U_i$ $Z_i$

Definisci , quindi edPertanto può essere riscritto come Di segue quindi che Ora, poiché e sono distribuiti congiuntamente normalmente, la teoria delle distribuzioni normali, cfr. Derivare le distribuzioni condizionali di una distribuzione normale multivariata , afferma che (in effetti, non è necessario assumere la normalità congiunta ma solo questa identità) per alcuni di vettore $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ .

Ora diventa Per il modello tutti i presupposti dei minimi quadrati sono soddisfatti, poiché il termine di errore soddisfa il presupposto del condizionale significa zero. Ciò implica che la stima OLS di sarà imparziale, poiché se lasciamo e lasciamo essere la di matrice composta da e , quindi la stima OLS di in è data considerando quanto segue: $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

e quindi dove la seconda riga segue per . Pertanto è una stima condizionale imparziale di poiché la stima OLS fornita per i modelli coinicidi con quella fornita per il modello . Ora, secondo la legge dell'aspettativa totale e quindi è uno stimatore imparziale per .

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

(Si può notare che , quindi il coefficiente su non è necessariamente imparziale.) $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

Tuttavia, il caso speciale sopra presuppone che e siano distribuiti congiuntamente normalmente, come posso dimostrare la proposta senza questo presupposto? $U_i$ $Z_i$

Supponendo che sempre ovviamente ovvio (cfr. ), ma dovrei derivare il risultato semplicemente usando e l'assunzione dei minimi quadrati escludendo l'assunzione Zero medio condizionale ( vedi sotto). $E(U|Z)=Z\gamma$ $(**)$ $(2)$

PER QUANTO RIGUARDA LA COERENZA

Penso che si possa anche vedere che la stima è coerente per notando che nel modello di regressione tutti i presupposti dei minimi quadrati sono soddisfatti, incluso il presupposto che il (nuovo) termine di errore soddisfi il Presupposto zero medio condizionale (cfr. E vedi sotto). $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

Potrei aggiungere una prova di coerenza in seguito, sulla base di una serie di esercizi in Introduzione all'econometria, 3a ed. di James H. Stock e Mark W. Watson, cap. 18. Tuttavia, questa prova è piuttosto lunga. Ma il punto qui è che la prova fornita negli esercizi presuppone , quindi mi sto ancora chiedendo se il presupposto davvero sufficiente. $(**)$ $(2)$

SOTTOTERIA 1

In Introduction to Econometrics, 3a ed. di James H. Stock e Mark W. Watson, si dice, a pag. 300, che il presupposto può essere "rilassato" usando la teoria della regressione non lineare. Che cosa significano o possono significare con questo? $(**)$

LE ULTIME ASSUNZIONI SQUADRATE

Qui escludo l'assunzione zero media condizionale che poiché la proposizione che proviamo a dimostrare qui consente i casi in cui . Questi sono casi ad esempio quando è correlata con . Cf. Econometrics: Honor's Exam Review Session (PDF) , p. 7. $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

I presupposti dei minimi quadrati sono i seguenti.

Le distribuzioni congiunte di , sono iid, dove è l' elemento : th in e dove e sono : vettori di riga in e . $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
Grandi valori anomali sono improbabili, cioè per ogni , e hanno momenti quarti finiti, dove è l' : esimo elemento a . $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ ha un rango di colonna completo (ovvero non esiste una multicollinearità perfetta; ciò garantisce l'invertibilità di ). $W^TW$
( Ipotesi sui minimi quadrati estesi : anche se non penso che ciò sia necessario (e mi è stato detto che non lo è), possiamo anche assumere l'omoschedasticità, cioè per ogni e che la distribuzione condizionale di fornita è normale per ogni (ovvero, abbiamo errori normali). $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

NOTA SULLA TERMINOLOGIA

In , il presupposto dello zero medio condizionale è il presupposto che . Il presupposto di indipendenza media condizionale, tuttavia, è il presupposto che . $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

Questa terminologia è utilizzata ad es. Introduzione all'econometria, 3a ed. di James H. Stock e Mark W. Watson, pag. 281; e analisi econometrica dei dati di sezioni trasversali e panel, 1a ed. di Jeffrey M. Wooldridge, pag. 607. Vedi anche Restrizioni condizionali all'indipendenza: test e stime per discussioni simili.

PENSIERI E SOTTOTERIA SUPPLEMENTARI 2

Penso contrariamente a James H. Stock e Mark W. Watson che l'indipendenza media condizionale non garantisca una stima OLS imparziale di . Questo perché può assumere forme non lineari come dove è un polinomio in o dove è un parametro ancora da stimare (qui sto usando la matrice esponenziale ), e quindi, penso, debba essere applicata una regressione non lineare , che generalmente ci lascia con stime distorte. Inoltre, la stima OLS in (1) di potrebbe non coincidere nemmeno con la stima OLS di $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ in se assume determinate forme non lineari. (Psicologicamente sento anche che l'affermazione fatta nel libro di Stock & Watson è troppo bella per essere vera.) $(4)$ $E(U|Z)$

Quindi, una domanda aggiuntiva è se esiste qualche controesempio alla proposizione che l'indipendenza media condizionale porta a una stima OLS imparziale?

SOTTOTERIA 3

In Mostly Harmless Econometrics Angrist & Pischke discute nella sottosezione 3.3, pag. 68--91, che sotto l'indipendenza condizionale (CI), cioè essendo indipendente da dato (che è una condizione più forte, suppongo, rispetto al presupposto di indipendenza media condizionale dato sopra), c'è una stretta connessione tra stime corrispondenti di l'effetto di su e i coefficienti su nella regressione di su e che motiva che sotto CI la stima OLS del coefficiente su in $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ è meno distorto rispetto a se CI non regge (tutto il resto uguale).

Ora, questa idea può in qualche modo essere usata per rispondere alla mia domanda principale qui?

— Elias
fonte

@ Xi'an Che vuoi dire? Questa è la definizione di indipendenza media condizionale data nel mio libro di testo: se nella regressione lineare abbiamo , allora diciamo che abbiamo un'indipendenza media condizionata. Ho solo pensato che il mio modo di scrivere fosse più generale.

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Elias,

@ Xi'an Come definiresti "independe $ ce" condizionale in questo caso? A mio avviso, "indipendenza condizionale" è un concetto distinto da "indipendenza media condizionale". Possono o meno essere concettualmente collegati.

— Elias,

@ Xi'an Questo è il modo in cui capisco i concetti: l'indipendenza condizionale è solo , ma l'indipendenza media condizionale è .

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— Elias,

Dov'è il commento di Xi'an?

— Michael R. Chernick,

@MichaelChernick Il suo commento è stato il primo. Immagino che debba averlo cancellato. Come me lo ricordo, ha detto che non implica indipendenza condizionale, e ho risposto.

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— Elias,

Risposte:

È falso. Come osservate, se leggete attentamente Stock e Watson, in realtà non sostengono l'affermazione che OLS è imparziale per in condizioni di indipendenza media condizionata. Approvano l'affermazione molto più debole secondo cui OLS è imparziale per se . Quindi, dicono qualcosa di vago sui minimi quadrati non lineari. $\beta$ $\beta$ $E(u|x,z)=z\gamma$

La tua equazione (4) contiene ciò di cui hai bisogno per vedere che l'affermazione è falsa. La stima dell'equazione (4) di OLS mentre si omette la variabile porta alla distorsione delle variabili omesse. Come probabilmente ricorderete, il termine di bias da variabili omesse (quando la variabile omessa ha un coefficiente di 1) è controllato dai coefficienti della seguente regressione ausiliaria: Il bias nella regressione originale per è da questa regressione e il bias su è . Se è correlato con , dopo aver controllato linearmente per $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ , quindi sarà diverso da zero e il coefficiente OLS sarà distorto.

α_{1}

$\alpha_1$

Ecco un esempio per dimostrare il punto:

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

Osservando la formula per , è chiaro che Osservando la regressione ausiliaria, è chiaro che (in assenza di una scelta fortuita di ) non sarà zero. $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

Ecco un esempio molto semplice in Rcui si dimostra il punto:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

Nota che la prima regressione ti dà un coefficiente su che è distorto da 0,63, riflettendo il fatto che "ha un po 'di " come fa . Si noti inoltre che la regressione ausiliaria fornisce una stima di errore di circa 0,63. $x$ $x$ $z^2$ $E(u|z)$

Quindi, di cosa stanno parlando Stock e Watson (e il tuo docente)? Torniamo alla tua equazione (4):

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

È un fatto importante che la variabile omessa è solo una funzione di . Sembra che se potessimo controllare molto bene , sarebbe sufficiente per eliminare il bias dalla regressione, anche se potrebbe essere correlato a . $z$ $z$ $x$ $u$

Supponiamo di aver stimato l'equazione seguente usando un metodo non parametrico per stimare la funzione o usando la forma funzionale corretta . Se stessimo utilizzando la forma funzionale corretta, la stimeremmo con minimi quadrati non lineari (spiegando il commento criptico su NLS): Questo ci darebbe uno stimatore coerente per perché non c'è più un problema variabile omesso. $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

In alternativa, se avessimo abbastanza dati, potremmo andare `` completamente '' nel controllo di . Potremmo esaminare un sottoinsieme dei dati in cui , ed eseguire semplicemente la regressione: Questo darebbe stimatori imparziali e coerenti per la eccezione di l'intercettazione, ovviamente, che sarebbe inquinata da . Ovviamente, potresti anche ottenere uno stimatore (diverso) coerente e imparziale eseguendo tale regressione solo su punti dati per i quali . E un altro per i punti in cui . Ecc. Quindi avresti un sacco di buoni stimatori da cui potresti fare un grande stimatore, diciamo, facendo una media di tutti insieme in qualche modo. $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

Quest'ultimo pensiero è l'ispirazione per gli stimatori corrispondenti. Poiché di solito non disponiamo di dati sufficienti per eseguire letteralmente la regressione solo per o anche per coppie di punti in cui è identico, eseguiamo invece la regressione per punti in cui è `` abbastanza vicino '' per essere identici. $z=1$ $z$ $z$

— Conto
fonte

Non è possibile provare questo risultato perché non è vero nella sua affermazione generale. Inizia con il modello nella tua eq. $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

dove la grande parentesi indica il termine di errore effettivo (nessuna ipotesi ancora sull'aspettativa condizionale). Definisci la matrice del creatore o dell'annichilatore , che è simmetrico, idempotente e abbiamo anche . $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

Con "risultati di regressione suddivisi" abbiamo questo

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

Il primo termine a destra è già zero. Prendendo tutto il valore atteso e quindi applicando la proprietà tower per l'attesa condizionale, anche il terzo termine sarà zero (usando l'indipendenza media condizionale nella sua forma più debole). Ma questo è quanto ci porta questa assunzione più debole, perché rimarremo con

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

Per imparzialità vogliamo che il lato destro sia zero. Questo vale se è una funzione lineare di (come hai trovato anche) perché otterremo nuovamente lo zero . Ma per il resto è del tutto arbitrario assumere direttamente che l'intero valore atteso sia zero. Non dobbiamo assumere la nortmalità congiunta, ma dobbiamo assumere la linearità di questa aspettativa condizionale (anche altre distribuzioni hanno questa proprietà). Quindi il presupposto necessario per l'imparzialità di è $E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

e non posso dire se sia davvero "più debole" o meno, rispetto alla rigorosa esogeneità di tutti i regressori (poiché la rigida esogeneità è dichiarata in termini di indipendenza media per tutte le ipotesi distributive, mentre qui dobbiamo limitare le classi di distribuzioni che e segui). $U$ $Z$

Non è difficile dimostrare che sotto questa linearità l'assunzione sarà anche coerente. $\hat \beta_{OLS}$

— Alecos Papadopoulos
fonte

Bella risposta! L'ho letto molto tempo fa e ho pensato che ci avrei pensato più tardi. Ho alcune domande: come puoi dimostrare i risultati della tua regressione partizionata? Gradirei almeno un riferimento. Inoltre, qual è la differenza tra e ?

M_{Z}

$M_Z$

M_{z}

$M_z$

— Elias

@Monir e solo un errore di battitura - risolto. Per i risultati della regressione partizionata (che sono molto vecchi e standard), vedere ad esempio il libro di testo di Econometrics di Greene, nel capitolo in cui si discute l'aspetto algebrico della stima ordinaria dei minimi quadrati. Include la prova.

Z

$Z$

z

$z$

— Alecos Papadopoulos,