Perché la deviazione standard del campione è uno stimatore distorto di

Secondo l'articolo di Wikipedia sulla stima imparziale della deviazione standard il campione SD

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

è uno stimatore distorto della DS della popolazione. Indica che . $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$

NB. Le variabili casuali sono indipendenti e ogni $x_{i} \sim N(\mu,\sigma^{2})$

La mia domanda è duplice:

Qual è la prova della parzialità?
Come si calcola l'aspettativa della deviazione standard del campione

La mia conoscenza di matematica / statistiche è solo intermedia.

estimation standard-deviation

— Dav Weps
fonte

Troverai risposta ad entrambe le domande nell'articolo di Wikipedia sulla distribuzione Chi .

— whuber

La risposta di @ NRH a questa domanda fornisce una bella e semplice prova della distorsione della deviazione standard del campione. Qui calcolerò esplicitamente l'aspettativa della deviazione standard del campione (la seconda domanda del poster originale) da un campione normalmente distribuito, a quel punto la distorsione è chiara.

La varianza del campione imparziale di un insieme di punti è $x_1, ..., x_n$

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

Se gli sono normalmente distribuiti, è un dato di fatto $x_i$

\frac{(n - 1) s^{2}}{σ^{2}} \sim χ_{n - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

dove è la vera varianza. La distribuzione ha densità di probabilità $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

usando questo possiamo ricavare il valore atteso di ; $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d x \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

che deriva dalla definizione di valore atteso e dal fatto che è la radice quadrata di una variabile distribuita . Il trucco ora è riorganizzare i termini in modo che l'integrando diventi un'altra densità : $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s i t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

ora sappiamo che l'integrazione e l'ultima riga è uguale a 1, poiché è una densità . Semplificare un po 'le costanti $\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

Quindi il pregiudizio di è $s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) \sim \frac{σ}{4 n}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$ come .

n \to \infty

$n \to \infty$

Non è difficile vedere che questo bias non è 0 per qualsiasi finito , dimostrando così che la deviazione standard del campione è distorta. Sotto il bias c'è il diagramma in funzione di per in rosso insieme a in blu: $n$ $n$ $\sigma=1$ $1/4n$

inserisci qui la descrizione dell'immagine

— macro
fonte

(+1) Bella risposta. Spero non ti dispiaccia, ho modificato un paio di cose molto minori e ho aggiunto un risultato asintotico riguardo al pregiudizio. Suppongo che potresti sovrapporre la curva alla tua trama, ma probabilmente non è necessario. Saluti. :)

(4 n)^{- 1}

$(4n)^{-1}$

— cardinale

Hai fatto davvero molta fatica a fare questa Macro. Quando ho visto il post per la prima volta circa un minuto fa, stavo pensando di mostrare il pregiudizio usando la regola di Jensen, ma qualcuno l'ha già fatto.

— Michael Chernick,

ovviamente questo è un modo per dimostrare che la deviazione standard è parziale - Stavo principalmente rispondendo alla seconda domanda del poster originale: "Come si calcola l'aspettativa della deviazione standard?".

— Macro

Un altro punto forse degno di nota è che questo calcolo consente di leggere immediatamente ciò che lo stimatore UMVU della deviazione standard è nel caso gaussiano: si moltiplica semplicemente per il reciproco del fattore di scala che appare nella dimostrazione. Ciò si generalizza agli stimatori UMVU di abbastanza facilmente.

s

$s$

σ^{k}

$\sigma^k$

— cardinale

Scusa, Macro. Lo stesso approccio integrale di base che hai usato funzionerà, finirai con un diverso fattore di ridimensionamento di , con gli argomenti gamma che ottieni essere funzioni di . Questo è ciò che intendevo, ma è uscito un po 'troppo conciso. :)

s^{k}

$s^k$

k

$k$

— cardinale

Non hai bisogno della normalità. Tutto ciò che serve è che è uno stimatore imparziale della varianza . Quindi usa che la funzione radice quadrata è strettamente concava tale che (da una forte forma di disuguaglianza di Jensen ) meno che la distribuzione di è degenerato in .

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^2 = \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2$

σ^{2}

$\sigma^2$

E (\sqrt{s^{2}}) < \sqrt{E (s^{2})} = σ

$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— NRH
fonte

A completamento della risposta di NRH, se qualcuno lo sta insegnando a un gruppo di studenti che non hanno ancora studiato la disuguaglianza di Jensen, un modo per procedere è definire la deviazione standard del campione supponi che non sia degenerato (quindi, ) e nota le equivalenze

S_{n} = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - {\bar{X}}_{n})^{2}}{n - 1}},

$S_n = \sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X}_n)^2}{n-1}} ,$

S_{n}

$S_n$

V a r [S_{n}] \neq 0

$\mathrm{Var}[S_n]\ne0$

0 < V a r [S_{n}] = E [S_{n}^{2}] - E^{2} [S_{n}] \Leftrightarrow E^{2} [S_{n}] < E [S_{n}^{2}] \Leftrightarrow E [S_{n}] < \sqrt{E [S_{n}^{2}]} = σ .

$0 < \mathrm{Var}[S_n] = \mathrm{E}[S_n^2] - \mathrm{E}^2[S_n] \;\;\Leftrightarrow\;\; \mathrm{E}^2[S_n] < \mathrm{E}[S_n^2] \;\;\Leftrightarrow\;\; \mathrm{E}[S_n] < \sqrt{\mathrm{E}[S_n^2]} =\sigma.$

— zen
fonte