Un esempio di stimatore coerente e distorto?

13

Davvero perplesso su questo. Vorrei davvero un esempio o una situazione in cui uno stimatore B sarebbe sia coerente che parziale.

mathematical-statistics estimation econometrics

— Jimmy Wiggles
fonte

3

Questo è per una lezione?

— Glen_b -Restate Monica,

5

Penso che la specifica tardiva che stai cercando per un esempio di serie storica lo trasformi in una domanda diversa, poiché invaliderebbe le eccellenti risposte già fornite. Ma questo va bene: puoi fare una nuova domanda.

— Sycorax dice di reintegrare Monica il

6

Vedo che hai cambiato la tua domanda. Dato che diverse risposte hanno già trattato la tua domanda precedente, ti consiglio di cambiarla e di pubblicare una nuova domanda specificamente per i modelli di serie storiche.

— JohnK,

3

È sorprendente che anche se si richiede uno stimatore relativo alle serie temporali, nessuno ha menzionato OLS per un AR (1). Lo stimatore è distorto, ma coerente, ed è abbastanza facile da mostrare (e googling ti darà un sacco di materiale su questo). Modifica: sembra che la richiesta di serie

— storiche sia

2

Ecco un esempio piuttosto banale: , .

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$

ϵ \neq 0

$\epsilon \neq 0$

— Dsaxton,

23

L'esempio più semplice che mi viene in mente è la varianza del campione che viene intuitivamente alla maggior parte di noi, vale a dire la somma delle deviazioni al quadrato divise per invece che per : $n$ $n-1$

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

È facile mostrare che e quindi lo stimatore è distorto. Ma supponendo una varianza finita , osserva che il bias va a zero come perché $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ $\sigma^2$ $n \to \infty$

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

Si può anche dimostrare che la varianza dello stimatore tende a zero e quindi lo stimatore converge nel quadrato medio . Quindi, è anche convergente in probabilità .

— Jöhnk
fonte

1

Questo è un esempio utile, sebbene possa applicare qui un'interpretazione piuttosto debole di "di parte" (che è usata in qualche modo in modo ambiguo nella domanda stessa). Si potrebbe anche chiedere qualcosa di più forte, ad esempio una sequenza di stimatori che sia coerente, ma con una propensione che non svanisca neppure in modo asintotico.

— cardinale il

@cardinal La distorsione deve svanire asintoticamente affinché lo stimatore sia coerente, no?

— JohnK,

3

No. (Vedi flusso di commenti per maggiori dettagli.)

— Cardinale

Vorrei pensare che sarebbe utile chiamata tuo estimatore

piuttosto che

, come

si riferisce più tipicamente alla stimatore, mentre

si riferisce spesso a MLE.

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

— Cliff AB,

@CliffAB Sì, questo è ciò che indica l'indice

, la somma delle deviazioni al quadrato è divisa per

, invece del convenzionale

.

n

$n$

n

$n$

n - 1

$n-1$

— JohnK,

9

Un semplice esempio potrebbe essere la stima del parametro dato iid osservazioni $\theta > 0$ $n$ . $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

$\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

— Adrian
fonte

6

Considera qualsiasi stimatore imparziale e coerente e una sequenza converge a 1 ( non deve essere casuale) e forma . È distorto, ma coerente poiché converge in 1. $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

Da Wikipedia:

A grandi linee, si dice che uno stimatore del parametro è coerente, se converge in probabilità al vero valore del parametro: $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

Ricordiamo ora che la distorsione di uno stimatore è definita come:

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

Il bias è in effetti diverso da zero e la convergenza in probabilità rimane vera.

— RUser4512
fonte

Apprezzo la risposta e la spiegazione. Adesso ho una comprensione migliore. Grazie

— Jimmy Wiggles il

Questa risposta ha bisogno di un piccolo fix-up all'inizio per mettere in chiaro che non qualsiasi imparziale farà. La sequenza originale dello stimatore deve essere coerente.

T_{n}

$T_n$

— cardinale il

2

In un'impostazione di serie temporali con una variabile dipendente ritardata inclusa come regressore, lo stimatore OLS sarà coerente ma distorto. La ragione di ciò è che per mostrare imparzialità dello stimatore OLS abbiamo bisogno di una rigorosa esogeneità, , ovvero che il termine di errore, , nel periodo non è correlato a tutti i regressori in tutti i periodi di tempo. Tuttavia, al fine di mostrare la coerenza dello stimatore OLS abbiamo solo bisogno di una contemporanea esogeneità, , ovvero che il termine di errore, , nel periodo non è correlato ai regressori, $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ nel periodo . Considera il modello AR (1): con da ora in poi. $t$ $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

In primo luogo, mostro che una rigida esogeneità non è valida in un modello con una variabile dipendente ritardata inclusa come regressore. Diamo un'occhiata alla correlazione tra e $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

Se assumiamo l'esogeneità sequenziale, , ovvero che il termine di errore, , nel periodo non è correlato a tutti i regressori nei periodi di tempo precedenti e l'attuale quindi il primo termine sopra, , sparirà. Ciò che è chiaro dall'alto è che, a meno che non abbiamo una rigorosa esogeneità, l'aspettativa . Tuttavia, dovrebbe essere chiaro che l'esogeneità contemporanea, , vale. $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

Ora diamo un'occhiata al bias dello stimatore OLS quando stimiamo il modello AR (1) sopra specificato. Lo stimatore OLS di , è dato come: $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

Quindi prendi le aspettative condizionate su tutti i valori precedenti, contemporanei e futuri, , : $E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Tuttavia, sappiamo che tale che significa che e quindi ma è di parte: $Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

Tutto ciò che presumo per mostrare la coerenza dello stimatore OLS nel modello AR (1) è l'esogeneità contemporanea, che porta alla condizione del momento, con . Come prima, abbiamo che lo stimatore OLS di , è dato come: $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Ora supponiamo che e è positivo e finito, . $plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

Quindi, come e fino a quando si applica una legge di grandi numeri (LLN) abbiamo che . Con questo risultato abbiamo: $T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

È stato quindi dimostrato che lo stimatore OLS di , nel modello AR (1) è distorto ma coerente. Si noti che questo risultato vale per tutte le regressioni in cui la variabile dipendente ritardata è inclusa come regressore. $p$ $\hat{\rho}$

— Plissken
fonte