Per quali distribuzioni esiste uno stimatore imparziale in forma chiusa per la deviazione standard?

Per la distribuzione normale, esiste uno stimatore imparziale della deviazione standard data da:

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

La ragione per cui questo risultato non è così noto sembra essere che è in gran parte una curiosità piuttosto che una questione di grande importanza . La prova è coperta su questo thread ; sfrutta una proprietà chiave della distribuzione normale:

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

Da lì, con un po 'di lavoro, è possibile prendere l'aspettativa e identificando questa risposta come multiplo di , possiamo dedurre il risultato per . $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ $\sigma$ $\hat{\sigma}_\text{unbiased}$

Questo mi incuriosisce su quali altre distribuzioni hanno uno stimatore imparziale in forma chiusa della deviazione standard. A differenza dello stimatore imparziale della varianza, questo è chiaramente specifico per la distribuzione. Inoltre, non sarebbe semplice adattare la prova per trovare stimatori per altre distribuzioni.

Le distribuzioni skew-normal hanno alcune belle proprietà distributive per le loro forme quadratiche, di cui la normale proprietà distributiva che abbiamo usato è effettivamente un caso speciale di (poiché il normale è un tipo speciale di skew-normal), quindi forse non sarebbe così difficile estendere questo metodo a loro. Ma per altre distinzioni sembrerebbe necessario un approccio completamente diverso.

Esistono altre distribuzioni per le quali tali stimatori sono noti?

mathematical-statistics standard-deviation unbiased-estimator

— pesciolino d'argento
fonte

Se si ignorano le distrazioni tecniche, la natura della risposta diventa più chiara. Nel caso normale, poco di ciò che scrivi è veramente rilevante per la conclusione; tutto ciò che conta è che la quantità di errore in questo particolare stimatore è una funzione di solo (e non dipende da altri parametri distributivi che devono essere stimati dai dati).

n

$n$

— whuber

@whuber Penso di poter vedere l'idea generale a cui stai accennando, e chiaramente è necessaria la "funzione di solo". Ma non penso che sarebbe sufficiente - se non avessimo accesso ad alcuni buoni risultati distributivi, allora non riesco a vedere come l'aspetto "forma chiusa" sarebbe trattabile.

n

$n$

— Silverfish

Dipende da cosa intendi per "forma chiusa". Ad esempio, per una persona una funzione theta può essere "chiusa", ma per un'altra è solo un prodotto infinito, una serie di potenze o un integrale complesso. Vieni a pensarci bene, questo è esattamente ciò che è una funzione Gamma :-).

— whuber

@whuber Ottimo punto! Per "la quantità di distorsione in questo particolare stimatore", presumo che intendi che la distorsione in (piuttosto che lo stimatore elencato nella domanda, che ha una propensione zero) è una funzione di (e anche in , ma fortunatamente in modo tale da poter facilmente riorganizzare per trovare uno stimatore imparziale)?

s

$s$

n

$n$

σ

$\sigma$

— Silverfish,

@whuber: Dovrebbe esserci una formula simile per qualsiasi famiglia di scala di posizione, con l'avvertimento che hai sottolineato che la funzione di può essere un integrale intrattabile.

n

$n$

— Xi'an,

Risposte:

Sebbene questo non sia direttamente collegato alla domanda, c'è un articolo del 1968 di Peter Bickel e Erich Lehmann che afferma che, per una famiglia convessa di distribuzioni , esiste uno stimatore imparziale di una (per una dimensione del campione abbastanza grande) se e solo se è un polinomio in $F$ $q(F)$ $n$ $q(\alpha F+(1-\alpha)G)$ $0\le \alpha\le 1$ . Questo teorema non si applica al problema qui perché la raccolta di distribuzioni gaussiane non è convessa (una miscela di gaussiani non è gaussiana).

Un'estensione del risultato nella domanda è che qualsiasi potenza della deviazione standard può essere stimata in modo imparziale, a condizione che ci siano abbastanza osservazioni quando . Ciò deriva dal risultato $\sigma^\alpha$ $\alpha<0$ cheè il parametro di scala (e unico) per.

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$

Questa impostazione normale può quindi essere estesa a qualsiasi famiglia di scale di posizioni con una varianza finita . Infatti,

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$

σ^{2}

$\sigma^2$

la varianza è solo una funzione di ; ${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ $\tau$
la somma dei quadrati ha un'aspettativa della forma; $\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ $\tau^2\psi(n)$
e similmente per qualsiasi potenza tale che l'aspettativa è limitata. $E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$

— Xi'an
fonte

Un caso probabilmente ben noto, ma comunque un caso.
Considera una distribuzione uniforme continua . Dato un campione iid, la statistica massima dell'ordine, ha valore atteso $U(0,\theta)$ $X_{(n)}$

E (X_{(n)}) = \frac{n}{n + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

La deviazione standard della distribuzione è

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{n + 1}{n} X_{(n)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

is evidently unbiased for $\sigma$ .

This generalizes to the case where the lower bound of the distribution is also unknown, since we can have an unbiased estimator for the Range, and then the standard deviation is again a linear function of the Range (as is essentially above also).

This exemplifies @whuber's comment, that "the amount of bias is a function of $n$ alone" (plus possibly any known constants) -so it can be deterministically corrected. And this is the case here.

— Alecos Papadopoulos
fonte

Now the hard part: when in the world are we interested in the standard deviation of a uniform distribution? (+1)

— shadowtalker

@ssdecontrol That's an excellent question! -please proceed to the next one...

— Alecos Papadopoulos

One thing I love about this answer is how poor the estimator is. It's quite common to see a question which boils down to "why do we use

\hat{θ}

$\hat{\theta}$ as an estimator even though it's biased?" Some students need convincing that unbiasedness is not the be-all and end-all, and a poor unbiased estimator is one way to show them.

— Silverfish

@Silverfish Poor in what way? Some quick simulations show this to have lower MSE than the usual standard deviation (which surprised me).

— Dave

@Dave Interesting! I had jumped to the conclusion it would be poor since it only looked at the maximum order statistic, but I too stand surprised! Shows the value of doing some simulation...

— Silverfish