Come posso trovare la deviazione standard della deviazione standard del campione da una distribuzione normale?

Scusami se ho perso qualcosa di piuttosto ovvio.

Sono un fisico con quella che è essenzialmente una distribuzione (istogramma) centrata su un valore medio che si avvicina a una distribuzione normale. Il valore importante per me è la deviazione standard di questa variabile casuale gaussiana. Come farei per cercare di trovare l'errore sulla deviazione standard del campione? Ho la sensazione che abbia a che fare con l'errore su ogni bin dell'istogramma originale.

— abbronzatura
fonte

Un suggerimento è disponibile su stats.stackexchange.com/questions/26924 . In generale, l'errore di campionamento di una varianza può essere calcolato in termini dei primi quattro momenti della distribuzione e quindi l'errore di campionamento della SD può almeno essere stimato da quei momenti.

— whuber

Risposte:

Sembra che tu stia chiedendo un calcolo della deviazione standard della deviazione standard del campione. Cioè, stai chiedendo , dove ${\rm SD}(s) = \sqrt{ {\rm var}(s) }$

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})},

$s = \sqrt{ \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X}) },$

$X_1, ..., X_n \sim N(\mu, \sigma^2)$ e è la media di esempio. $\overline{X}$

Innanzitutto, sappiamo dalle proprietà di base della varianza che

v un' r (S) = E (S^{2}) - E (S)^{2}

${\rm var}(s) = E(s^2) - E(s)^2$

Poiché la varianza del campione è imparziale, conosciamo . In Perché la deviazione standard del campione è uno stimatore distorto di ? , Viene calcolato , da cui possiamo dedurre $E(s^2) = \sigma^2$ $\sigma$ $E(s)$

E (S)^{2} = \frac{2 σ^{2}}{n - 1} \cdot {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}

$E(s)^2 = \frac{2 \sigma^2 }{n-1} \cdot \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2$

perciò

S D (S) = \sqrt{E (S^{2}) - E (S)^{2}} = σ \sqrt{1 - \frac{2}{n - 1} \cdot {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}}

${\rm SD}(s) = \sqrt{ E(s^2) - E(s)^2 } = \sigma \sqrt{ 1 - \frac{2}{n-1} \cdot \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2 }$

— macro
fonte

Buon punto. Ho ottenuto una stima della varianza di s ^ 2. Prendendo la radice quadrata si ottiene una stima della deviazione standard di s ^ 2. Ma hai risposto alla domanda reale che era quella di ottenere la deviazione standard di s. Suppongo che per ragioni pratiche anche tu sostituiresti σ con s per ottenere una stima usando la formula.

— Michael R. Chernick,

Sì, che è di destra, è possibile sostituire

con

e questa approssimazione si comporta bene anche per le dimensioni del campione modeste - ho fatto alcuni test con

σ

$\sigma$

s

$s$

n = 20

$n=20$

— Macro

La quantità ha una distribuzione chi-quadrato con gradi di libertà quando i campioni sono indipendenti e distribuiti con la stessa distribuzione normale Questa quantità può essere utilizzata per ottenere intervalli di confidenza per il varianza della normale e sua deviazione standard. Se hai i valori grezzi e non solo il valore centrale dei bin, puoi calcolare . $X=(n-1) s^2/\sigma^2$ $n-1$ $s^2$

È noto che se ha una distribuzione chi-quadrato con gradi di libertà, la sua varianza è . Sapendo questo e il fatto che ottiene che ha una varianza uguale a $X$ $n-1$ $2(n-1)$ $\mathrm{Var}(cX) = c^2 \mathrm{Var}(X)$ $s^2$ Sebbene sia sconosciuto, puoi approssimarlo con e hai una vaga idea di quale sia la varianza di .

\frac{2 (n - 1) σ^{4}}{(n - 1)^{2}} = \frac{2 σ^{4}}{n - 1} .

$\frac{2(n-1)\sigma^4}{(n-1)^2} =\frac{2\sigma^4}{n-1} \>.$

σ^{4}

$\sigma^4$

s^{4}

$s^4$

s^{2}

$s^2$

— Michael R. Chernick
fonte

Avevo intenzione di postare questo all'inizio, ma il problema come lo vedo qui è che

è sconosciuto. Dato questo fatto, non so se è valido per approssimare

se non sappiamo nemmeno la dimensione del campione. Ricordo che si può dimostrare che il quarto momento può avere seri problemi con gli outlier.

σ^{2}

$\sigma^2$

s^{4} \approx σ^{4}

$s^4\approx \sigma^4$

— Néstor

è uno stimatore coerente di

(purchéesista

), giusto @Nesp? Penso che questo sia generalmente ciò che si intende quando la gente dice "approssimativa" o "idea approssimativa".

s^{4}

$s^4$

σ^{4}

$\sigma^4$

σ^{4}

$\sigma^4$

— Macro

Forse è la mancanza di sonno, ma non è come il ragionamento circolare?

— Néstor

Fin dall'inizio abbiamo ipotizzato che i dati provenissero da una distribuzione normale, quindi non vi sono problemi anomali. Intendevo approssimativamente come suggerisce Macro. Concordo sul fatto che la dimensione del campione influisce sulla vicinanza di s ^ 4 a σ ^ 4. Ma la preoccupazione per gli outlier è fuori dalla Nesp. Se mi hai votato per questo, penso che sia molto ingiusto. Quello che ho presentato è stato il modo standard di stimare la deviazione standard per s ^ 2 quando i dati sono NORMALMENTE DISTRIBUITI.

— Michael R. Chernick,

@Nesp, Michael ha fornito uno stimatore coerente della varianza della deviazione standard del campione da un campione normalmente distribuito - per campioni di grandi dimensioni funzionerà bene - simulalo e scoprilo. Non sono sicuro del motivo per cui pensi che questo sia un ragionamento circolare.

— Macro

Esistono diversi modi per quantificare l'errore della deviazione standard nel caso normale. Presenterò la probabilità del profilo di che può essere utilizzata per approssimare gli intervalli di confidenza. $\sigma$

$x=(x_1,...,x_n)$ $(\mu,\sigma)$

L (μ, σ) α \frac{1}{σ^{n}} \exp (- \frac{1}{2 σ^{2}} Σ_{j = 1}^{n} (X_{j} - μ)^{2})

${\mathcal L}(\mu,\sigma) \propto \dfrac{1}{\sigma^n}\exp\left(-\dfrac{1}{2\sigma^2}\sum_{j=1}^n(x_j-\mu)^2\right)$

$(\hat\mu,\hat\sigma)=(\bar x,s)$ $s=\sqrt{\dfrac{1}{n}\sum_{j=1}^n(x_j-\bar x)^2}$ $\sigma$

R_{p} (σ) = \frac{sup_{μ} L (μ, σ)}{L (\hat{μ}, \hat{σ})} = {(\frac{\hat{σ}}{σ})}^{n} \exp [\frac{n}{2} (1 - {(\frac{\hat{σ}}{σ})}^{2})]

$R_p(\sigma)=\dfrac{\sup_{\mu}{\mathcal L}(\mu,\sigma)}{{\mathcal L}(\hat\mu,\hat\sigma)} = \left(\dfrac{\hat\sigma}{\sigma}\right)^n\exp\left[\dfrac{n}{2}\left(1-\left(\dfrac{\hat\sigma}{\sigma}\right)^2\right)\right]$

$R_p:{\mathbb R}_+\rightarrow (0,1]$ $0.147$ $0.95$ $R$

data = rnorm(30)
n = length(data)
sg = sqrt(mean((data-mean(data))^2))
# Profile likelihood
rp = function(sigma) return( (sg/sigma)^n*exp(0.5*n*(1-(sg/sigma)^2))  )
vec = rvec = seq(0.5,1.5,0.01)
for(i in 1:length(rvec)) rvec[i] = rp(vec[i])
plot(vec,rvec,type="l")
rpc = function(sigma) return(rp(sigma)-0.147)
# Approximate 95% confidence interval
c(uniroot(rpc,c(0.7,0.8))$root,uniroot(rpc,c(1.1,1.3))$root)

$\sigma$ $I=(L,U)$ $\sigma^2$ $I^{\prime}=(L^2,U^2)$

Penso che volesse davvero solo la deviazione standard di s.

— Michael R. Chernick,