La media del campione è la stima "migliore" della media della distribuzione in un certo senso?

Secondo la legge (debole / forte) di grandi numeri, dati alcuni punti campione iid di una distribuzione, la loro media campionaria $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ converge alla media di distribuzione sia in probabilità che come, poiché la dimensione del campione va all'infinito. $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Quando la dimensione del campione è fissa, mi chiedo se lo stimatore LLN sia uno stimatore migliore in un certo senso? Per esempio, $N$ $f^*$

la sua aspettativa è la media di distribuzione, quindi è uno stimatore imparziale. La sua varianza è doveè la varianza di distribuzione. Ma è UMVU? $\frac{\sigma^2}{N}$ $\sigma^2$
c'è qualche funzione tale che risolva il problema di minimizzazione: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
In altre parole, è la migliore funzione di contrasto nel quadro del contrasto minimo (cfr. Sezione 2.1 "Euristica di base della stima" in " Statistiche matematiche: idee di base e argomenti selezionati, Volume 1 " di Bickle e Doksum). $f^*$ $l_0$

Ad esempio, se la distribuzione è nota / limitata dalla famiglia di distribuzioni gaussiane, allora la media del campione sarà lo stimatore MLE della media di distribuzione e MLE appartiene al framework di contrasto minimo e la sua funzione di contrasto è meno il log funzione di verosimiglianza. $l_0$
$l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
$f^*$ $l$ $F$

Si noti che quanto sopra sono tre diverse interpretazioni per una "migliore" stima che ho conosciuto finora. Se sei a conoscenza di altre possibili interpretazioni che potrebbero applicarsi allo stimatore LLN, non esitare a menzionarlo.

estimation expected-value law-of-large-numbers

— Tim
fonte

Un altro modo per caratterizzare uno stimatore: leggere qui lo stimatore coerente . La media del campione è coerente a causa di LLN.

— Rohit Banga,

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

Grazie! Ma come viene calcolata la sua varianza?

— Tim

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

$l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Uno stimatore del contrasto minimo è, in determinate condizioni tecniche, sia coerente che asintoticamente normale. Per la media del campione, ciò segue già il LLN e il teorema del limite centrale. Non so che gli stimatori del contrasto minimo siano "ottimali" in alcun modo. La cosa bella degli stimatori del contrasto minimo è che molti stimatori robusti (ad esempio la mediana, gli stimatori di Huber, i quantili di esempio) rientrano in questa famiglia e possiamo concludere che sono coerenti e asintoticamente normali semplicemente applicando il teorema generale per gli stimatori del contrasto minimo, quindi purché controlliamo alcune condizioni tecniche (anche se spesso è molto difficile di quanto sembri).

Una nozione di ottimalità che non menzionate nella domanda è l'efficienza che, in termini approssimativi, riguarda la grandezza di un campione di cui avete bisogno per ottenere una stima di una certa qualità. Vedi http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency per un confronto dell'efficienza di media e mediana (la media è più efficiente, ma la mediana è più robusta per gli outlier).

$x_i$

$f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
fonte

Grazie! Esistono buoni riferimenti sulle proprietà dello stimatore del contrasto minimo, come coerenti e asintoticamente normali, nonché esempi come la mediana, gli stimatori di Huber, i quantili di esempio?

— Tim

La sezione 5.2.2 del libro di Bickel & Doksum che citi ha un teorema sulla coerenza degli stimatori del contrasto minimo. La sezione 5.4.2 discute la normalità asintotica. Un'altra fonte che raccomando, e che discute degli altri stimatori che menziono, è il libro delle Statistiche asintotiche di van der Vaart . Il capitolo 5 è dedicato agli stimatori M, che è il suo nome per gli stimatori del contrasto minimo.

— David R

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

Intendo la norma euclidea standard: l'ho cambiata in notazione vettoriale per chiarire.

— David R,

l

$l$