Sull'esistenza di UMVUE e la scelta dello stimatore della popolazione

Let essere un campione casuale tratto da della popolazione in cui . $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

Sto cercando l'UMVUE di . $\theta$

La densità congiunta di è $(X_1,X_2,\cdots,X_n)$

\begin{aligned} f_{θ} (x_{1}, x_{2}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ \sqrt{2 π}} \exp [- \frac{1}{2 θ^{2}} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [- \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [\frac{1}{θ} \sum_{i = 1}^{n} x_{i} - \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} x_{i}^{2} - \frac{n}{2}] \\ = g (θ, T (x)) h (x) \forall (x_{1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

, dove e . $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ $h(\mathbf x)=1$

Qui, dipende da e da a e è indipendente da . Quindi, secondo il teorema di fattorizzazione di Fisher-Neyman, la statistica bidimensionale è sufficiente per . $g$ $\theta$ $x_1,\cdots,x_n$ $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ $h$ $\theta$ $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ $\theta$

Tuttavia, $T$ non è una statistica completa. Questo perché

E_{θ} [2 {(\sum_{i = 1}^{n} X_{i})}^{2} - (n + 1) \sum_{i = 1}^{n} X_{i}^{2}] = 2 n (1 + n) θ^{2} - (n + 1) 2 n θ^{2} = 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

e la funzione non è identicamente zero. $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

Ma so che è una statistica minima sufficiente. $T$

Non ne sono certo, ma penso che potrebbe non esistere una statistica completa per questa famiglia esponenziale curva. Quindi, come dovrei ottenere l'UMVUE? Se non esiste una statistica completa, può essere uno UMVUE uno stimatore imparziale (come in questo caso) che è una funzione di statistica minima sufficiente? ( Discussione correlata: qual è la condizione necessaria affinché uno stimatore imparziale sia UMVUE? ) $\bar X$

Cosa succede se considero il miglior stimatore lineare imparziale (BLU) di ? Il BLU può essere l'UMVUE? $\theta$

Supponiamo che io consideri lo stimatore lineare imparziale di dove e . Poiché sappiamo che . La mia idea è di minimizzare modo che sia il BLU di . Sarebbe essere poi l'UMVUE di ? $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

Ho preso uno stimatore imparziale lineare basato su e poiché è anche sufficiente per . $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

Modificare:

Molto lavoro è stato fatto nella stima di nella più generale famiglia dove è noto . Di seguito sono riportati alcuni dei riferimenti più rilevanti: $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

Stima della media di una distribuzione normale con coefficiente di variazione noto di Gleser / Healy.
Una nota sulla stima della media di una distribuzione normale con coefficiente di variazione noto di RA Khan.
Un commento sulla stima della media di una distribuzione normale con coefficiente di variazione noto di RA Khan.
Estratto di questo capitolo.

Ho trovato il primo di questi riferimenti in questo esercizio di Statistical Inference di Casella / Berger:

La mia domanda non riguarda questo esercizio però.

La nota finale (l'estratto del capitolo) afferma che l' UMVUE di non esiste in $\theta$ quanto la statistica minima sufficiente non è completa. Vorrei sapere cosa ci consente di concludere che un UMVUE non esiste semplicemente perché non è possibile trovare una statistica completa completa? C'è qualche risultato correlato in merito? Vedo l'esistenza di UMVUE anche quando non esistono statistiche complete complete nel thread collegato.

Ora supponendo che non esista uno stimatore imparziale di varianza uniformemente minima, quali dovrebbero essere i nostri prossimi criteri per scegliere lo stimatore "migliore"? Cerchiamo l'MSE minimo, la varianza minima o l'MLE? O la scelta dei criteri dipenderà dal nostro scopo di stima?

Ad esempio, supponiamo di avere uno stimatore imparziale e un altro stimatore distorto di . Supponiamo che l'MSE di (che è la sua varianza) sia maggiore di quello di . Poiché la minimizzazione di MSE significa minimizzare la distorsione e la varianza contemporaneamente, penso che dovrebbe essere una scelta 'migliore' di stimatore rispetto a sebbene il primo sia distorto. $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

Le possibili scelte degli stimatori di sono elencate dalla pagina 4 dell'ultima nota. $\theta$

Il seguente estratto è tratto da Theory of Point Estimation di Lehmann / Casella (seconda edizione, pagina 87-88):

È molto probabile che io abbia frainteso tutto, ma l'ultima frase dice che in determinate condizioni, l'esistenza di una statistica completa è necessaria per l'esistenza di UMVUE? Se è così, è questo il risultato che dovrei guardare?

L'ultimo risultato dovuto a RR Bahadur, menzionato alla fine, fa riferimento a questa nota.

Dopo ulteriori ricerche, ho trovato un risultato che afferma che se la statistica minima sufficiente non è completa, allora non esiste una statistica completa. Quindi almeno sono quasi convinto che qui non esista una statistica completa.

Un altro risultato che ho dimenticato di considerare è quello che dice approssimativamente che una condizione necessaria e sufficiente affinché uno stimatore imparziale sia l'UMVUE è che deve essere non correlato con ogni stimatore imparziale pari a zero. Ho provato a usare questo teorema per dimostrare che qui non esiste un UMVUE, e anche il fatto che uno stimatore imparziale come non è l'UMVUE. Ma questo non funziona come semplice come fatto, ad esempio qui , nell'illustrazione finale. $\bar X$

— StubbornAtom
fonte

Aggiornare:

Si consideri lo stimatore dove è dato nel tuo post. Questo è uno stimatore imparziale di e sarà chiaramente correlato con lo stimatore indicato di seguito (per qualsiasi valore di ).

\hat{0} = \bar{X} - c S

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

Il teorema 6.2.25 di C&B mostra come trovare statistiche complete complete per la famiglia esponenziale fintanto che contiene un set aperto in . Sfortunatamente questa distribuzione produce e che NON forma un insieme aperto in (poiché

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

). È per questo che la statistica

non è completa per

, ed è per lo stesso motivo che possiamo costruire uno stimatore imparziale di

che sarà correlato con qualsiasi stimatore imparziale di

che si basa sulle statistiche sufficienti.

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$

Un altro aggiornamento:

$\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

$E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0}

$\tilde\theta = \hat\theta + b\hat0$

V a r (\tilde{θ}) = V a r (\hat{θ}) + b^{2} V a r (\hat{0}) + 2 b C o v (\hat{θ}, \hat{0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

$\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

$\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

Diamo un'occhiata più da vicino alla tua idea di combinazioni lineari.

\hat{θ} = a \bar{X} + (1 - a) c S

$\hat\theta = a \bar X + (1-a)cS$

$\hat\theta$

\begin{aligned} M S E (\hat{θ}) & = a^{2} V a r (\bar{X}) + (1 - a)^{2} c^{2} V a r (S) \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [E (S^{2}) - E (S)^{2}] \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [θ^{2} - θ^{2} / c^{2}] \\ = θ^{2} [\frac{a^{2}}{n} + (1 - a)^{2} (c^{2} - 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

$a$ $n$

a_{o p t} (n) = \frac{c^{2} - 1}{1 / n + c^{2} - 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$

c^{2} = \frac{n - 1}{2} {(\frac{Γ ((n - 1) / 2)}{Γ (n / 2)})}^{2}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

$a$

$n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

Sebbene non vi sia alcuna garanzia che si tratti dell'UMVUE, questo stimatore è lo stimatore di varianza minima di tutte le combinazioni lineari imparziali delle statistiche sufficienti.

— knrumsey
fonte

Grazie per l'aggiornamento. Non ho seguito C&B come un libro di testo, ho solo guardato gli esercizi.

— Testardo

\hat{θ}

$\hat\theta$