Per quali modelli la distorsione dell'MLE diminuisce più velocemente della varianza?

Lasciate θ una stima di massima verosimiglianza di un vero parametro θ * di qualche modello. Poiché il numero di punti di dati n aumenta, l'errore ‖ θ - θ * ‖ tipicamente diminuisce O ( 1 / √$\hat\theta$$\theta^*$$n$$\lVert\hat\theta-\theta^*\rVert$$O(1/\sqrt n)$. Usando la disuguaglianza e le proprietà del triangolo aspettativa, è possibile dimostrare che tale tasso di errore implica che sia il "polarizzazione"$\lVert \mathbb E\hat\theta - \theta^*\rVert$e "deviazione"$\lVert \mathbb E\hat\theta - \hat\theta\rVert$diminuzione Allo stesso$O(1/\sqrt{n})$tasso. Ovviamente, è possibile che i modelli abbiano una distorsione che si riduce a una velocità maggiore. Molti modelli (come la regressione dei minimi quadrati oridini) non hanno parzialità.

Sono interessato a modelli che presentano un pregiudizio che si restringe più velocemente di $O(1/\sqrt n)$, ma dove l'errore non si riduce a questa velocità maggiore perché la deviazione si riduce ancora come$O(1/\sqrt n)$. In particolare, mi piacerebbe conoscere le condizioni sufficienti affinché la distorsione di un modello si riduca alla velocità$O(1/n)$.

In generale, sono necessari modelli in cui l'MLE non è asintoticamente normale ma converge in un'altra distribuzione (e lo fa a una velocità maggiore). Questo di solito accade quando il parametro sotto stima è al limite dello spazio dei parametri. Intuitivamente, ciò significa che l'MLE si avvicinerà al parametro "solo da un lato", quindi "migliora la velocità di convergenza" poiché non viene "distratto" andando "avanti e indietro" attorno al parametro.

Un esempio standard è l'MLE per θ in un campione iid di U ( 0 , θ ) uniforme di rv L'MLE qui è la statistica dell'ordine massimo,$\theta$$U(0,\theta)$

$$\hat \theta_n = u_{(n)}$$

La sua distribuzione del campione finito è

$$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$$

$$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$$

So $B(\hat \theta_n) = O(1/n)$. But the same increased rate will hold also for the variance.

One can also verify that to obtain a limiting distribution, we need to look at the variable $n(\theta - \hat \theta_n)$,(i.e we need to scale by $n$) since

$$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$$

$$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$$

$$\to 1- e^{-z/\theta}$$

which is the CDF of the Exponential distribution.

I hope this provides some direction.

Following comments in my other answer (and looking again at the title of the OP's question!), here is an not very rigorous theoretical exploration of the issue.

We want to determine whether Bias $B(\hat \theta_n) = E(\hat \theta_n) - \theta$ may have different convergence rate than the square root of the Variance,

$$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$$

We have

$$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$$

$$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$$

while

$$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$$

$$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$$

$$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$$

We see that $(2)$ may hold happen if

A) both components are $O(1/n^{2\gamma})$, in which case we can only have $\gamma = \delta$.

B) But it may also hold if

$$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$$

For $(3)$ to be compatible with $(1)$, we must have

$$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$$

So it appears that in principle it is possible to have the Bias converging at a faster rate than the square root of the variance. But we cannot have the square root of the variance converging at a faster rate than the Bias.