Perché il teorema di Rao-Blackwell richiede ?

Il teorema di Rao-Blackwell afferma

Sia uno stimatore di con per tutti . Supponiamo che sia sufficiente per e che Quindi per tutti , La disuguaglianza è rigorosa a meno che sia una funzione di $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ $T$

Se capisco correttamente questo teorema, questo afferma che, se ho una statistica sufficiente per , allora il valore atteso condizionale di dato è la soluzione a $T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

I miei quesitoni

Sono corretto che $\theta^*$ minimizza $\Bbb E$ $(\hat{\theta}-\theta)^2$ ?
Perché il teorema di Rao-Blackwell richiede $\Bbb E(\hat{\theta}^2) < \infty$ ?
Perché la disuguaglianza è rigorosa a meno che $\hat{\theta}$ sia una funzione di $T$ ?

rao-blackwell

— Stan Shunpike
fonte

Possibile duplicato della giustificazione intuitiva e formulaica per il teorema di Rao-Blackwell

— Xi'an,

Cosa è necessario per trovare ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Stan Shunpike,

Risposte:

No, è uno stimatore migliore di ma non necessariamente il migliore (qualunque cosa significhi!) $\theta^*$ $\hat\theta$
Se lo stimatore non ha variazioni, il suo rischio è infinito e non vi è alcuna garanzia che abbia un rischio finito (anche se ciò può accadere come sottolineato da Horst Grünbusch nei suoi commenti). $\theta^*$
Sotto la varianza finita per , la disuguaglianza è rigorosa a causa della decomposizione della varianza come somma della varianza condizionale attesa più la varianza dell'aspettativa condizionale A meno che la varianza condizionale prevista sia zero, il che equivale a solo in funzione di $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— Xi'an
fonte

annuncio 2: Perché è impossibile che ? Considera come stimatore per , dove e un camper distribuito da Cauchy non correlato.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— Horst Grünbusch,

@ HorstGrünbusch Perché il pezzo di Cauchy dovrebbe sparire quando ti condizioni su ? Inoltre non è uno stimatore imparziale.

T

$T$

\hat{θ}

$\hat{\theta}$

— dsaxton,

@ HorstGrünbusch Mi sembra che il tuo non abbia nemmeno un'aspettativa condizionale (poiché non ha aspettative), quindi sarebbe indefinito.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Juho Kokkala,

OK, tutto quello che volevo era senza varianza, non senza aspettative. ;) Ora prendete , vale a dire Student-t-distribuito con 2 gradi di libertà e e indipendente da . Statistica sufficiente è chiaramente . Quindi , ma

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— Horst Grünbusch,

Quindi penso che sia sbagliato che uno stimatore Rao-Blackwell abbia una varianza necessariamente infinita se lo stimatore originale ha una varianza infinita. (Eppure, anche se entrambe le varianze fossero necessariamente infinite rimarrebbero comunque

\infty \leq \infty

$\infty \leq \infty$

— valide

Si noti che essere una statistica sufficiente non è univoco. In verità, tutti i dati sono sufficienti, ma condizionare uno stimatore su di essi non cambia nulla. Quindi una statistica sufficiente da sola non è sufficiente (gioco di parole!) Per avere un errore quadratico medio minimo. Vedi il teorema di Lehmann-Scheffé, che usa il teorema di Rao-Blackwell nella dimostrazione, per una sufficienza sufficiente (in effetti, essendo sufficiente e completa).
Se entrambi sono infiniti, la debole disuguaglianza è sempre vera. Ma poi, come controesempio, puoi costruire una statistica sufficiente che non è una funzione di ma ha ancora una varianza infinita (tale che vale solo ). $T$ $\leq$

Prendiamo ad esempio , una variabile casuale distribuita spostata con e e come un'altra variabile casuale indipendente . Il parametro da stimare è . Lo stimatore originale è . Una statistica sufficiente è ovviamente . Sia lo stimatore Rao-Blackwell che hanno una varianza infinita. Quindi la disuguaglianza si terrà debolmente. D'altra parte, non è una mera funzione di $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : Coinvolge l'altra variabile casuale, quindi sarebbe una contraddizione con l'ultima frase di cui hai posto la terza domanda. In effetti, alcuni libri di testo ammettono una varianza infinita per lo stimatore originale, ma a loro volta non possono indicare quando valido. $<$

Se è una funzione di , puoi dimostrare dal teorema di fattorizzazione che è già sufficiente per . Quindi finiamo per non migliorare nulla. A parte questo caso, la disuguaglianza è severa, e questa è l'affermazione non banale del teorema. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— Horst Grünbusch
fonte